Apache Flink

Apache Flink：下一代大数据处理引擎，起源于 Stratosphere。

相似项目：Apache Spark

简介

Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境，对各种大小的数据规模进行快速计算。

• 统一的大数据分析和批计算引擎
• 统一的大数据分析和流计算引擎
• 统一的大数据分析和机器学习引擎

优势

Apache Flink 为用户提供了更强大的计算能力和更易用的编程接口

• 批流统一：Runtime 和 SQL 层批流统一，提供高吞吐低延时计算能力和更强大的SQL支持。
• 生态兼容：与 Hadoop Yarn / Apache Mesos / Kubernetes 集成，并且支持单机模式运行。
• 性能卓越：性能卓越的批处理与流处理支持。
• 规模计算：作业可被分解成上千个任务，分布在集群中并发执行。

FLIP

Flink Improvement Proposal (FLIP)

Actor

使用了 Akka，将 Flink 带入 Actor System。

CEP

FlinkCEP - Complex event processing for Flink

项目

• Blink分支仓库 阿里 Blink 正式开源，重要优化点解读
• Apache Flink Web Dashboard 使用 Angular 和 NG-ZORRO UI 组件

用户

Flink 用户

• 滴滴出行使用 Apache Flink 支持了实时监控、实时特征抽取、实时ETL等业务。
• 阿里巴巴（Alibaba）使用 Flink 的分支版本 Blink 来优化实时搜索排名。
• 快手使用了 Apache Flink 搭建了一个实时监控平台，监控短视频和直播的质量。
• 腾讯利用 Apache Flink 构建了一个内部平台，以提高开发和操作实时应用程序的效率。
• Uber 在 Apache Flink 上构建了基于 SQL 的开源流媒体分析平台 AthenaX。
• 唯品会应用Flink实时的将数据流ETL到Hive中用于数据处理和分析

文档

• Apache Flink Fast and Reliable Large-Scale Data Processing

图集

• 

  Flink

• 

  架构

• 

  堆栈

• 

  抽象级别

• 

  Flink在Hadoop生态中

• 

  Dashboard

• 

  Flink on YARN

• 

  进程模型

• 

  Plan Visualization

链接

• Apache Flink官网
• The Apache Flink Conference
• Apache Flink China
• Apache Flink @ GitHub
• 大数据框架对比：Hadoop、Storm、Samza、Spark和Flink
• The Apache Flink Conference