• Java 项目模板
    • 构建工具
    • Maven
      • 环境要求
      • 创建项目
      • 检查项目
      • 构建项目
    • Gradle
      • 环境要求
      • 创建项目
      • 检查项目
      • 构建项目
    • 下一步

    Java 项目模板

    构建工具

    Flink项目可以使用不同的构建工具进行构建。为了能够快速入门，Flink 为以下构建工具提供了项目模版：

    • Maven
    • Gradle

    这些模版可以帮助你搭建项目结构并创建初始构建文件。

    Maven

    环境要求

    唯一的要求是使用 Maven 3.0.4 （或更高版本）和安装 Java 8.x。

    创建项目

    使用以下命令之一来 创建项目：

    • 使用 Maven archetypes
    • 运行 quickstart 脚本
    1.     $ mvn archetype:generate                               \
    2.       -DarchetypeGroupId=org.apache.flink              \
    3.       -DarchetypeArtifactId=flink-quickstart-java      \
    4.       -DarchetypeVersion=1.9.0
    5.

    这种方式允许你为新项目命名。它将以交互式的方式询问你项目的 groupId、artifactId 和 package 名称。 

    1.     $ curl https://flink.apache.org/q/quickstart.sh | bash -s 1.9.0
    3.

    检查项目

    项目创建后，工作目录将多出一个新目录。如果你使用的是 curl 方式创建项目，目录名为 quickstart；如果你使用的是 Maven archetypes 方式创建项目，则目录名为你指定的 artifactId：

    1. $ tree quickstart/
    2. quickstart/
    3. ├── pom.xml
    4. └── src
    5.     └── main
    6.         ├── java
    7.         │   └── org
    8.         │       └── myorg
    9.         │           └── quickstart
    10.         │               ├── BatchJob.java
    11.         │               └── StreamingJob.java
    12.         └── resources
    13.             └── log4j.properties

    示例项目是一个 Maven project，它包含了两个类：StreamingJob 和 BatchJob 分别是 DataStream and DataSet 程序的基础骨架程序。main 方法是程序的入口，既可用于IDE测试/执行，也可用于部署。

    我们建议你将 此项目导入IDE 来开发和测试它。IntelliJ IDEA 支持 Maven 项目开箱即用。如果你使用的是 Eclipse，使用m2e 插件 可以导入 Maven 项目。一些 Eclipse 捆绑包默认包含该插件，其他情况需要你手动安装。

    请注意：对 Flink 来说，默认的 JVM 堆内存可能太小，你应当手动增加堆内存。在 Eclipse 中，选择 Run Configurations -> Arguments 并在 VM Arguments 对应的输入框中写入：-Xmx800m。在 IntelliJ IDEA 中，推荐从菜单 Help | Edit Custom VM Options 来修改 JVM 选项。有关详细信息，请参阅这篇文章。

    构建项目

    如果你想要 构建/打包你的项目，请在项目目录下运行 ‘mvn clean package’ 命令。命令执行后，你将 找到一个JAR文件，里面包含了你的应用程序，以及已作为依赖项添加到应用程序的连接器和库：target/<artifact-id>-<version>.jar。

    注意： 如果你使用其他类而不是 StreamingJob 作为应用程序的主类/入口，我们建议你相应地修改 pom.xml 文件中的 mainClass 配置。这样，Flink 可以从 JAR 文件运行应用程序，而无需另外指定主类。

    Gradle

    环境要求

    唯一的要求是使用 Gradle 3.x (或更高版本) 和安装 Java 8.x 。

    创建项目

    使用以下命令之一来 创建项目：

    • Gradle 示例
    • 运行 quickstart 脚本
    • build.gradle
    • settings.gradle
    1. buildscript {
    2.     repositories {
    3.         jcenter() // this applies only to the Gradle 'Shadow' plugin
    4.     }
    5.     dependencies {
    6.         classpath 'com.github.jengelman.gradle.plugins:shadow:2.0.4'
    7.     }
    8. }
    10. plugins {
    11.     id 'java'
    12.     id 'application'
    13.     // shadow plugin to produce fat JARs
    14.     id 'com.github.johnrengelman.shadow' version '2.0.4'
    15. }
    18. // artifact properties
    19. group = 'org.myorg.quickstart'
    20. version = '0.1-SNAPSHOT'
    21. mainClassName = 'org.myorg.quickstart.StreamingJob'
    22. description = """Flink Quickstart Job"""
    24. ext {
    25.     javaVersion = '1.8'
    26.     flinkVersion = '1.9.0'
    27.     scalaBinaryVersion = '2.11'
    28.     slf4jVersion = '1.7.7'
    29.     log4jVersion = '1.2.17'
    30. }
    33. sourceCompatibility = javaVersion
    34. targetCompatibility = javaVersion
    35. tasks.withType(JavaCompile) {
    36.     options.encoding = 'UTF-8'
    37. }
    39. applicationDefaultJvmArgs = ["-Dlog4j.configuration=log4j.properties"]
    41. task wrapper(type: Wrapper) {
    42.     gradleVersion = '3.1'
    43. }
    45. // declare where to find the dependencies of your project
    46. repositories {
    47.     mavenCentral()
    48.     maven { url "https://repository.apache.org/content/repositories/snapshots/" }
    49. }
    51. // 注意：我们不能使用 "compileOnly" 或者 "shadow" 配置，这会使我们无法在 IDE 中或通过使用 "gradle run" 命令运行代码。
    52. // 我们也不能从 shadowJar 中排除传递依赖（请查看 https://github.com/johnrengelman/shadow/issues/159)。
    53. // -> 显式定义我们想要包含在 "flinkShadowJar" 配置中的类库!
    54. configurations {
    55.     flinkShadowJar // dependencies which go into the shadowJar
    57.     // 总是排除这些依赖（也来自传递依赖），因为 Flink 会提供这些依赖。
    58.     flinkShadowJar.exclude group: 'org.apache.flink', module: 'force-shading'
    59.     flinkShadowJar.exclude group: 'com.google.code.findbugs', module: 'jsr305'
    60.     flinkShadowJar.exclude group: 'org.slf4j'
    61.     flinkShadowJar.exclude group: 'log4j'
    62. }
    64. // declare the dependencies for your production and test code
    65. dependencies {
    66.     // --------------------------------------------------------------
    67.     // 编译时依赖不应该包含在 shadow jar 中，
    68.     // 这些依赖会在 Flink 的 lib 目录中提供。
    69.     // --------------------------------------------------------------
    70.     compile "org.apache.flink:flink-java:${flinkVersion}"
    71.     compile "org.apache.flink:flink-streaming-java_${scalaBinaryVersion}:${flinkVersion}"
    73.     // --------------------------------------------------------------
    74.     // 应该包含在 shadow jar 中的依赖，例如：连接器。
    75.     // 它们必须在 flinkShadowJar 的配置中！
    76.     // --------------------------------------------------------------
    77.     //flinkShadowJar "org.apache.flink:flink-connector-kafka-0.11_${scalaBinaryVersion}:${flinkVersion}"
    79.     compile "log4j:log4j:${log4jVersion}"
    80.     compile "org.slf4j:slf4j-log4j12:${slf4jVersion}"
    82.     // Add test dependencies here.
    83.     // testCompile "junit:junit:4.12"
    84. }
    86. // make compileOnly dependencies available for tests:
    87. sourceSets {
    88.     main.compileClasspath += configurations.flinkShadowJar
    89.     main.runtimeClasspath += configurations.flinkShadowJar
    91.     test.compileClasspath += configurations.flinkShadowJar
    92.     test.runtimeClasspath += configurations.flinkShadowJar
    94.     javadoc.classpath += configurations.flinkShadowJar
    95. }
    97. run.classpath = sourceSets.main.runtimeClasspath
    99. jar {
    100.     manifest {
    101.         attributes 'Built-By': System.getProperty('user.name'),
    102.                 'Build-Jdk': System.getProperty('java.version')
    103.     }
    104. }
    106. shadowJar {
    107.     configurations = [project.configurations.flinkShadowJar]
    108. }
    109.                 
    1. rootProject.name = 'quickstart'
    2.                 
    1.     bash -c "$(curl https://flink.apache.org/q/gradle-quickstart.sh)" -- 1.9.0 2.11
    2.

    这种方式允许你为新项目命名。它将以交互式的方式询问你的项目名称、组织机构（也用于包名）、项目版本、Scala 和 Flink 版本。

    检查项目

    根据你提供的项目名称，工作目录中将多出一个新目录，例如 quickstart：

    1. $ tree quickstart/
    2. quickstart/
    3. ├── README
    4. ├── build.gradle
    5. ├── settings.gradle
    6. └── src
    7.     └── main
    8.         ├── java
    9.         │   └── org
    10.         │       └── myorg
    11.         │           └── quickstart
    12.         │               ├── BatchJob.java
    13.         │               └── StreamingJob.java
    14.         └── resources
    15.             └── log4j.properties

    示例项目是一个 Gradle 项目，它包含了两个类：StreamingJob 和 BatchJob 是 DataStream 和 DataSet 程序的基础骨架程序。main 方法是程序的入口，即可用于IDE测试/执行，也可用于部署。

    我们建议你将 此项目导入你的 IDE 来开发和测试它。IntelliJ IDEA 在安装 Gradle 插件后支持 Gradle 项目。Eclipse 则通过 Eclipse Buildship 插件支持 Gradle 项目（鉴于 shadow 插件对 Gradle 版本有要求，请确保在导入向导的最后一步指定 Gradle 版本 >= 3.0）。你也可以使用 Gradle’s IDE integration 从 Gradle 创建项目文件。

    请注意：对 Flink 来说，默认的 JVM 堆内存可能太小，你应当手动增加堆内存。在 Eclipse中，选择 Run Configurations -> Arguments 并在 VM Arguments 对应的输入框中写入：-Xmx800m。在 IntelliJ IDEA 中，推荐从菜单 Help | Edit Custom VM Options 来修改 JVM 选项。有关详细信息，请参阅此文章。

    构建项目

    如果你想要 构建/打包项目，请在项目目录下运行 ‘gradle clean shadowJar’ 命令。命令执行后，你将 找到一个 JAR 文件，里面包含了你的应用程序，以及已作为依赖项添加到应用程序的连接器和库：build/libs/<project-name>-<version>-all.jar。

    注意： 如果你使用其他类而不是 StreamingJob 作为应用程序的主类/入口，我们建议你相应地修改 build.gradle 文件中的 mainClassName 配置。这样，Flink 可以从 JAR 文件运行应用程序，而无需另外指定主类。

    下一步

    开始编写应用！

    如果你准备编写流处理应用，正在寻找灵感来写什么，可以看看流处理应用程序教程

    如果你准备编写批处理应用，正在寻找灵感来写什么，可以看看批处理应用程序示例

    有关 API 的完整概述，请查看DataStream API 和DataSet API 章节。

    在这里，你可以找到如何在 IDE 之外的本地集群中运行应用程序。

    如果你有任何问题，请发信至我们的邮箱列表，我们很乐意提供帮助。