Apache Spark

2016年4月24日 (日) 15:54的版本

Apache Spark：新一代大数据解决方案

Spark 是用Scala语言编写的一套分布式内存计算系统，它的核心抽象模型是 RDD (Resilient Distributed Dataset，弹性分布式数据集)，围绕 RDD 构建了一系列分布式 API，可以直接对数据集进行分布式处理。

相对于 MapReduce 上的批量计算、迭代计算，以及基于 Apache Hive 的 SQL 查询，Spark 可以带来一到两个数量级的性能提升。

Spark在广告领域有很多的成功应用。

Spark SQL on HBase: Spark SQL/DataFrame access to NoSQL data in Apache HBase

通过Spark on YARN的方式与Apache Hadoop方便地共享集群的存储功能和计算资源。

@@ 第28行： / 第28行： @@
 *[https://github.com/spark-jobserver/spark-jobserver spark-jobserver]
 *[https://github.com/amplab-extras/SparkR-pkg SparkR]
-*[http://mlbase.org/ MLbase]
 *[[Apache Mesos]]
 *[[Alluxio]]
@@ 第34行： / 第33行： @@
 *[[Apache Zeppelin]], [https://github.com/andypetrella/spark-notebook/ Spark Notebook]
 *[https://github.com/SnappyDataInc/snappydata SnappyData: OLTP + OLAP Database built on Apache Spark]
-*[[Apache Mahout]]使用Spark作为后端
 *[http://blinkdb.org/ BlinkDB]
 *[https://github.com/adobe-research/spindle Spindle]
 *[http://simin.me/projects/spatialspark/ SpatialSpark]
+==机器学习==
+*[http://mlbase.org/ MLbase]
+*[[Apache Mahout]]使用Spark作为后端
 *[https://github.com/ariskk/distributedWekaSpark Weka on Spark]
+*[https://github.com/amplab/keystone KeystoneML]
+*[https://github.com/amplab/SparkNet SparkNet]
+*[https://github.com/gingsmith/cocoa CoCoA]
+*[https://github.com/zhangyuc/splash Splash Project for parallel stochastic learning]
 ==用户==