Apache Spark

2014年10月8日 (三) 15:47的版本

Apache Spark：新一代大数据解决方案

Spark 是用Scala语言编写的一套分布式内存计算系统，它的核心抽象模型是 RDD (Resilient Distributed Dataset，弹性分布式数据集)，围绕 RDD 构建了一系列分布式 API，可以直接对数据集进行分布式处理。

Spark在广告领域有很多的成功应用。

相对于 MapReduce 上的批量计算、迭代计算，以及基于 Apache Hive 的 SQL 查询，Spark 可以带来一到两个数量级的性能提升。

图集

• Http://docs.huihoo.com/apache/spark/1.1.0/img/streaming-arch.png

链接

• Apache Spark官网
• Spark发源地：AMPLab
• Spark背后的商业公司：Databricks，同时提供Spark服务提供商Certified Spark Distribution官方认证。
• Spark开放文档
• Spark Summit
• 腾讯大数据之计算新贵Spark，广点通是最早使用Spark的应用之一
• 《Spark快速数据处理》作者 Holden Karau 曾就职于谷歌、亚马逊、微软和Foursquare等公司，对开源情有独钟，参与了许多开源项目，如Linux内核无线驱动、Android程序监控、搜索引擎等，对存储系统、推荐系统、搜索分类等都有深入研究。
• CSDN.NET Spark技术社区
• 理解Spark的核心Resilient Distributed Datasets(RDD)