欢迎大家赞助一杯啤酒🍺 我们准备了下酒菜:Formal mathematics/Isabelle/ML, Formal verification/Coq/Agda, C++/Erlang/Lisp
Apache Kafka
来自开放百科 - 灰狐
(版本间的差异)
小 (→图集) |
小 (→用户) |
||
第104行: | 第104行: | ||
==用户== | ==用户== | ||
− | *[https:// | + | *[https://kafka.apache.org/powered-by Powered By Kafka] |
*[http://docs.huihoo.com/infoq/archsummit/bj2015/1219/%e6%96%b0%e6%98%9f%e7%94%b5%e5%95%86%ef%bc%9aO2O%e5%8f%8a%e5%85%b6%e4%bb%96%e6%96%b0%e5%9e%8b%e7%94%b5%e5%95%86%e6%a8%a1%e5%bc%8f%e4%b8%93%e9%a2%98/ArchSummit%e5%8c%97%e4%ba%ac-%e3%80%8aUber%e7%9a%84%e6%b5%81%e5%a4%84%e7%90%86%e7%b3%bb%e7%bb%9f%e5%8f%8a%e5%ae%9e%e8%b7%b5%e3%80%8b-%e8%a2%81%e6%b3%b3.pdf Uber的流处理系统及实践] based on [[Apache Samza]] | *[http://docs.huihoo.com/infoq/archsummit/bj2015/1219/%e6%96%b0%e6%98%9f%e7%94%b5%e5%95%86%ef%bc%9aO2O%e5%8f%8a%e5%85%b6%e4%bb%96%e6%96%b0%e5%9e%8b%e7%94%b5%e5%95%86%e6%a8%a1%e5%bc%8f%e4%b8%93%e9%a2%98/ArchSummit%e5%8c%97%e4%ba%ac-%e3%80%8aUber%e7%9a%84%e6%b5%81%e5%a4%84%e7%90%86%e7%b3%bb%e7%bb%9f%e5%8f%8a%e5%ae%9e%e8%b7%b5%e3%80%8b-%e8%a2%81%e6%b3%b3.pdf Uber的流处理系统及实践] based on [[Apache Samza]] | ||
*[http://www.csdn.net/article/2015-07-30/2825342 七牛是如何搞定每天500亿条日志的] | *[http://www.csdn.net/article/2015-07-30/2825342 七牛是如何搞定每天500亿条日志的] |
2018年10月8日 (一) 08:19的版本
Kafka 是一个高吞吐量的分布式消息系统,使用 Scala 开发,被用于 LinkedIn。
Kafka 类似且堪比 Facebook Scribe 和 Cloudera Flume 系统。
淘宝开源了分布式消息中间件Memorphosis项目,它是Kafka的Java版本,针对淘宝内部应用做了定制和优化。
目录 |
简介
Kafka并非传统意义上的消息队列,它与RabbitMQ等消息系统并不一样。它更像是一个分布式的文件系统或数据库。Kafka与传统消息系统之间有三个关键区别:
- Kafka持久化日志,这些日志可以被重复读取和无限期保留;
- Kafka是一个分布式系统:它以集群的方式运行,可以灵活伸缩,在内部通过复制数据提升容错能力和高可用性;
- Kafka支持实时的流式处理。
以上三点足以将Kafka与传统的消息队列区别开,我们甚至可以把它看成是流式处理平台。
新闻
- Kafka迎来1.0.0版本,正式告别四位数版本号 (2017.11)
指南
tar -xzf kafka_2.11-0.9.0.0.tgz cd kafka_2.11-0.9.0.0 server.properties port = 9092 advertised.host.name = localhost bin/zookeeper-server-start.sh config/zookeeper.properties bin/kafka-server-start.sh config/server.properties
创建一个topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test bin/kafka-topics.sh --list --zookeeper localhost:2181
发送一些消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test This is a message This is another message
启动一个消费者consumer
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
分发版
- Confluent Platform
- Hortonworks Kafka
- IBM Message Hub Apache Kafka as a Service
项目
管理控制台
- Kafka Manager
- kafkat
- Hortonworks Streams Messaging Manager (SMM)
- Kafka Web Console 此项目已不再更新,请访问 Kafka Manager
git clone https://github.com/claudemamo/kafka-web-console cd kafka-web-console sbt > run http://localhost:9000
流处理
- Kafka Streams
- Apache Samza
- Storm Kafka spout
- kafka-storm-starter
- Apache Flink
- Apache Spark Streaming
- Apache Apex
集成Hodoop
搜索与查询
- kafka-elasticsearch-standalone-consumer
- Presto Kafka Connector
- Secor is a service persisting Kafka logs to Amazon S3, Google Cloud Storage and Openstack Swift
日志与监控
- Prometheus Kafka exporter
- syslog-gollector Go语言开发.
- Logging Utility & Daemon
- logkafka: Apache Kafka的日志收集代理 奇虎360开发
- Mozilla Metrics Service
- Coda Hale Metric Reporter to Kafka
Connect
存储
- Kafka Streams 使用 RocksDB 做 Local 存储。
文档
书籍
服务商
用户
- Powered By Kafka
- Uber的流处理系统及实践 based on Apache Samza
- 七牛是如何搞定每天500亿条日志的
- 纽约时报在CMS系统里使用Kafka来保存他们的文章。
图集
链接
分享您的观点