Apache Flink

来自开放百科 - 灰狐
2021年8月18日 (三) 14:59Allen (讨论 | 贡献)的版本

(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)
跳转到: 导航, 搜索

Apache Flink:下一代大数据处理引擎,起源于 Stratosphere

相似项目:Apache Spark

目录

简介

Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境,对各种大小的数据规模进行快速计算。

  • 统一的大数据分析和批计算引擎
  • 统一的大数据分析和流计算引擎
  • 统一的大数据分析和机器学习引擎

优势

Apache Flink 为用户提供了更强大的计算能力和更易用的编程接口

  • 批流统一:Runtime 和 SQL 层批流统一,提供高吞吐低延时计算能力和更强大的SQL支持。
  • 生态兼容:与 Hadoop Yarn / Apache Mesos / Kubernetes 集成,并且支持单机模式运行。
  • 性能卓越:性能卓越的批处理与流处理支持。
  • 规模计算:作业可被分解成上千个任务,分布在集群中并发执行。

FLIP

Flink Improvement Proposal (FLIP)

Actor

使用了 Akka,将 Flink 带入 Actor System。

CEP

FlinkCEP - Complex event processing for Flink

项目

用户

Flink 用户

  • 滴滴出行使用 Apache Flink 支持了实时监控、实时特征抽取、实时ETL等业务。
  • 阿里巴巴(Alibaba)使用 Flink 的分支版本 Blink 来优化实时搜索排名。
  • 快手使用了 Apache Flink 搭建了一个实时监控平台,监控短视频和直播的质量。
  • 腾讯利用 Apache Flink 构建了一个内部平台,以提高开发和操作实时应用程序的效率。
  • Uber 在 Apache Flink 上构建了基于 SQL 的开源流媒体分析平台 AthenaX。
  • 唯品会应用Flink实时的将数据流ETL到Hive中用于数据处理和分析

文档

图集

链接

分享您的观点
个人工具
名字空间

变换
操作
导航
工具箱