Apache Kylin

2016年11月16日 (三) 13:41的版本

Apache Kylin 是由eBay开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据。

Apache Kylin被用到了诸多如数据仓库，用户行为分析，流量（日志）分析，自助分析平台，电商分析，广告效果分析，实时分析，数据服务平台等各种场景。

Kylin是什么

可扩展超快OLAP引擎:

• Kylin是为减少在Hadoop上百亿规模数据查询延迟而设计

Hadoop ANSI SQL 接口:

• Kylin为Hadoop提供标准SQL支持大部分查询功能

交互式查询能力:

• 通过Kylin，用户可以与Hadoop数据进行亚秒级交互，在同样的数据集上提供比Hive更好的性能

多维立方体（MOLAP Cube）:

• 用户能够在Kylin里为百亿以上数据集定义数据模型并构建立方体

与BI工具无缝整合: Kylin提供与BI工具，如Tableau，的整合能力，即将提供对其他工具的整合

其他特性:

• Job管理与监控
• 压缩与编码
• 增量更新
• 利用HBase Coprocessor
• 基于HyperLogLog的Dinstinc Count近似算法
• 友好的web界面以管理，监控和使用立方体
• 项目及立方体级别的访问控制安全
• 支持LDAP

生态

• Kylin 核心: Kylin OLAP引擎基础框架，包括元数据（Metadata）引擎，查询引擎，Job引擎及存储引擎等，同时包括REST服务器以响应客户端请求
• 扩展: 支持额外功能和特性的插件
• 整合: 与调度系统，ETL，监控等生命周期管理系统的整合
• 用户界面: 在Kylin核心之上扩展的第三方用户界面
• 驱动: ODBC 和 JDBC 驱动以支持不同的工具和产品，比如Tableau

文档

• Apache Kylin Introduction
• Pulsar Realtime Analytics at Scale leveraging Kafka Hadoop and Kylin

用户

• eBay、Glispa、微软、Expedia
• 百度、美团、网易、京东、唯品会、中国移动、中国电信、国泰君安、华泰证券、联想、OPPO、魅族、去哪儿

图集

• 

  Kylin

• 

  Kylin生态

• 

  Plugin架构

链接

• Kylin官网
• 架构师特刊：Apache Kylin实践
• eBay的Connected Commerce大数据平台实践