Apache Kafka

2016年4月30日 (六) 11:00的版本

Kafka 是一个高吞吐量的分布式消息系统，使用 Scala 开发，被用于 LinkedIn。

Kafka 类似且堪比 Facebook Scribe 和 Cloudera Flume 系统。

淘宝开源了分布式消息中间件Memorphosis项目，它是Kafka的Java版本，针对淘宝内部应用做了定制和优化。

分发版

• Confluent Platform
• Hortonworks Kafka
• IBM Message Hub Apache Kafka as a Service

项目

Kafka Ecosystem

管理控制台

• Kafka Manager
• kafkat
• Kafka Web Console
• Kafka Offset Monitor
• Capillary: Storm Spout + Kafka State Inspector

流处理

• Kafka Streams
• Storm Kafka spout
• kafka-storm-starter

集成Hodoop

• Kafka HDFS Connector

搜索与查询

• kafka-elasticsearch-standalone-consumer
• Presto Kafka Connector
• Secor is a service persisting Kafka logs to Amazon S3, Google Cloud Storage and Openstack Swift

日志与监控

• syslog-gollector, Go语言开发.
• Logging Utility & Daemon
• logkafka: Apache Kafka的日志收集代理, 奇虎360开发.
• Mozilla Metrics Service
• Coda Hale Metric Reporter to Kafka

文档

• Developing with the Go client for Apache Kafka
• Apache Kafka 0.8 Basic Training

更多文档>>>

服务商

• Confluent

用户

• Powered By Kafka
• Uber的流处理系统及实践 based on Apache Samza
• 七牛是如何搞定每天500亿条日志的

图集

• 

  部署于LinkedIn

• 

  日志

• 

  传感器数据

• 
• 
• 
• 

  个性化推荐引擎

• 

  Kafka Manager

• 

  Uber流处理架构

链接

• Kafka主页
• Kafka Ecosystem
• Apache Kafka：下一代分布式消息系统，有节Kafka与Apache ActiveMQ V5.4和RabbitMQ V2.4的性能对比。