欢迎大家赞助一杯啤酒🍺 我们准备了下酒菜:Formal mathematics/Isabelle/ML, Formal verification/Coq/Agda, C++/Erlang/Lisp
Apache Kafka
来自开放百科 - 灰狐
(版本间的差异)
小 (→指南) |
小 (→图集) |
||
第83行: | 第83行: | ||
image:kafka-manager-topic-list.png|Kafka Manager | image:kafka-manager-topic-list.png|Kafka Manager | ||
image:uber-stream-processing.png|Uber流处理架构 | image:uber-stream-processing.png|Uber流处理架构 | ||
+ | image:Kafka-Web-Console.png|Kafka Web Console | ||
</gallery> | </gallery> | ||
2016年5月3日 (二) 06:39的版本
Kafka 是一个高吞吐量的分布式消息系统,使用 Scala 开发,被用于 LinkedIn。
Kafka 类似且堪比 Facebook Scribe 和 Cloudera Flume 系统。
淘宝开源了分布式消息中间件Memorphosis项目,它是Kafka的Java版本,针对淘宝内部应用做了定制和优化。
目录 |
指南
tar -xzf kafka_2.11-0.9.0.0.tgz cd kafka_2.11-0.9.0.0 bin/zookeeper-server-start.sh config/zookeeper.properties bin/kafka-server-start.sh config/server.properties
创建一个topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test bin/kafka-topics.sh --list --zookeeper localhost:2181
发送一些消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test This is a message This is another message
启动一个消费者consumer
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
分发版
- Confluent Platform
- Hortonworks Kafka
- IBM Message Hub Apache Kafka as a Service
项目
管理控制台
- Kafka Manager
- kafkat
- Kafka Web Console
- Kafka Offset Monitor
- Capillary: Storm Spout + Kafka State Inspector
流处理
集成Hodoop
搜索与查询
- kafka-elasticsearch-standalone-consumer
- Presto Kafka Connector
- Secor is a service persisting Kafka logs to Amazon S3, Google Cloud Storage and Openstack Swift
日志与监控
- syslog-gollector, Go语言开发.
- Logging Utility & Daemon
- logkafka: Apache Kafka的日志收集代理, 奇虎360开发.
- Mozilla Metrics Service
- Coda Hale Metric Reporter to Kafka
文档
服务商
用户
图集
链接
- Kafka主页
- Kafka Ecosystem
- Apache Kafka:下一代分布式消息系统,有节Kafka与Apache ActiveMQ V5.4和RabbitMQ V2.4的性能对比。
分享您的观点