Apache Spark

2016年4月24日 (日) 08:34的版本

Apache Spark：新一代大数据解决方案

Spark 是用Scala语言编写的一套分布式内存计算系统，它的核心抽象模型是 RDD (Resilient Distributed Dataset，弹性分布式数据集)，围绕 RDD 构建了一系列分布式 API，可以直接对数据集进行分布式处理。

相对于 MapReduce 上的批量计算、迭代计算，以及基于 Apache Hive 的 SQL 查询，Spark 可以带来一到两个数量级的性能提升。

Spark在广告领域有很多的成功应用。

Spark SQL on HBase: Spark SQL/DataFrame access to NoSQL data in Apache HBase

通过Spark on YARN的方式与Apache Hadoop方便地共享集群的存储功能和计算资源。

@@ 第38行： / 第38行： @@
 *[http://simin.me/projects/spatialspark/ SpatialSpark]
 *[https://github.com/ariskk/distributedWekaSpark Weka on Spark]
+==用户==
+[https://cwiki.apache.org/confluence/display/SPARK/Powered+By+Spark Powered By Spark]
 ==课程==
@@ 第53行： / 第56行： @@
 *[http://docs.huihoo.com/infoq/qconshanghai/2015/%e5%9f%ba%e4%ba%8e%e5%a4%a7%e6%95%b0%e6%8d%ae%e7%9a%84%e6%9c%ba%e5%99%a8%e5%ad%a6%e4%b9%a0%e6%8a%80%e6%9c%af/QCon%e4%b8%8a%e6%b5%b72015-%e5%9f%ba%e4%ba%8e%e6%9c%ba%e5%99%a8%e5%ad%a6%e4%b9%a0%e7%9a%84%e9%93%b6%e8%a1%8c%e5%8d%a1%e6%b6%88%e8%b4%b9%e6%95%b0%e6%8d%ae%e9%a2%84%e6%b5%8b%e4%b8%8e%e6%8e%a8%e8%8d%90-%e6%a2%81%e5%a0%b0%e6%b3%a2.pdf Machine learning in finance using Spark ML pipeline]
 *[http://docs.huihoo.com/infoq/qconshanghai/2015/%e5%9f%ba%e4%ba%8e%e5%a4%a7%e6%95%b0%e6%8d%ae%e7%9a%84%e6%9c%ba%e5%99%a8%e5%ad%a6%e4%b9%a0%e6%8a%80%e6%9c%af/QCon%e4%b8%8a%e6%b5%b72015-%e5%9c%a8Spark%e4%b8%8a%e6%9e%84%e5%bb%ba%e7%a1%ac%e4%bb%b6%e5%8a%a0%e9%80%9f%e7%9a%84%e5%88%86%e5%b8%83%e5%bc%8f%e7%a5%9e%e7%bb%8f%e7%bd%91%e7%bb%9c%e6%9e%b6%e6%9e%84-%e7%8e%8b%e5%a5%95%e6%81%92%e3%80%81%e9%bb%84%e6%99%9f%e7%9b%9b.pdf 在Spark上构建分布式神经网络]
-==用户==
-[https://cwiki.apache.org/confluence/display/SPARK/Powered+By+Spark Powered By Spark]
 ==图集==