Apache Spark

来自开放百科 - 灰狐
(版本间的差异)
跳转到: 导航, 搜索
(elasticsearch)
(未显示1个用户的18个中间版本)
第1行: 第1行:
 
Apache Spark:新一代大数据解决方案
 
Apache Spark:新一代大数据解决方案
  
Spark 是用[[Scala]]语言编写的一套分布式内存计算系统,它的核心抽象模型是 RDD (Resilient Distributed Dataset,弹性分布式数据集),围绕 RDD 构建了一系列分布式 API,可以直接对数据集进行分布式处理。
+
==简介==
 +
Spark 是用[[Scala]]和[[Java]]语言编写的一套分布式内存计算系统,它的核心抽象模型是 RDD (Resilient Distributed Dataset,弹性分布式数据集),围绕 RDD 构建了一系列分布式 API,可以直接对数据集进行分布式处理。
  
 
相对于 [[MapReduce]] 上的批量计算、迭代计算,以及基于 [[Apache Hive]] 的 SQL 查询,Spark 可以带来一到两个数量级的性能提升。
 
相对于 [[MapReduce]] 上的批量计算、迭代计算,以及基于 [[Apache Hive]] 的 SQL 查询,Spark 可以带来一到两个数量级的性能提升。
  
 
Spark在广告领域有很多的成功应用。
 
Spark在广告领域有很多的成功应用。
 +
 +
==版本==
 +
*2.3
 +
*[https://github.com/apache/spark/tree/branch-2.2 2.2]
 +
*[https://github.com/apache/spark/tree/branch-2.1 2.1]
 +
*[https://github.com/apache/spark/tree/branch-2.0 2.0]
  
 
==Apache Hive==
 
==Apache Hive==
第11行: 第18行:
  
 
==Spark on HBase==
 
==Spark on HBase==
[http://spark-packages.org/package/Huawei-Spark/Spark-SQL-on-HBase Spark SQL on HBase]: Spark SQL/DataFrame access to NoSQL data in [[Apache HBase]]
+
*使用 [[HDFS]] 内存层实现 RDD 共享
 +
*[http://spark-packages.org/package/Huawei-Spark/Spark-SQL-on-HBase Spark SQL on HBase]: Spark SQL/DataFrame access to NoSQL data in [[Apache HBase]]
  
 
==Spark on YARN==
 
==Spark on YARN==
第25行: 第33行:
  
 
==REST API==
 
==REST API==
 +
Spark 1.4引入REST API
 
  http://localhost:4040/api/v1/applications
 
  http://localhost:4040/api/v1/applications
  
第32行: 第41行:
 
*[https://github.com/ariskk/distributedWekaSpark Weka on Spark]
 
*[https://github.com/ariskk/distributedWekaSpark Weka on Spark]
 
*[https://github.com/amplab/keystone KeystoneML]
 
*[https://github.com/amplab/keystone KeystoneML]
*[https://github.com/amplab/SparkNet SparkNet]
+
*[[SparkNet]]
 
*[https://github.com/gingsmith/cocoa CoCoA]
 
*[https://github.com/gingsmith/cocoa CoCoA]
 
*[https://github.com/zhangyuc/splash Splash Project for parallel stochastic learning]
 
*[https://github.com/zhangyuc/splash Splash Project for parallel stochastic learning]
 +
*[[Deeplearning4j]]
 +
*[[H2O]] Spark
 +
*[https://github.com/yahoo/TensorFlowOnSpark TensorFlowOnSpark]
 +
*Yahoo [https://github.com/yahoo/CaffeOnSpark CaffeOnSpark]
 +
*[https://arimo.com/machine-learning/deep-learning/2016/arimo-distributed-tensorflow-on-spark/ Arimo Tensorflow On Spark]
  
 
==项目==
 
==项目==
[https://cwiki.apache.org/confluence/display/SPARK/Supplemental+Spark+Projects Spark的相关项目和生态系统: Supplemental Spark Projects]
+
[https://github.com/awesome-spark/awesome-spark Awesome Spark] [[文件:awesome.png]]
 +
*[https://cwiki.apache.org/confluence/display/SPARK/Supplemental+Spark+Projects Spark的相关项目和生态系统: Supplemental Spark Projects]
 
*[https://github.com/spark-jobserver/spark-jobserver spark-jobserver]
 
*[https://github.com/spark-jobserver/spark-jobserver spark-jobserver]
 
*[https://github.com/amplab-extras/SparkR-pkg SparkR]
 
*[https://github.com/amplab-extras/SparkR-pkg SparkR]
第48行: 第63行:
 
*[https://github.com/adobe-research/spindle Spindle]
 
*[https://github.com/adobe-research/spindle Spindle]
 
*[http://simin.me/projects/spatialspark/ SpatialSpark]
 
*[http://simin.me/projects/spatialspark/ SpatialSpark]
 +
*[https://toree.apache.org Apache Toree]
 +
*[[Apache SystemML]]
 +
*[[Oryx]]
 +
*[https://github.com/SnappyDataInc/snappydata SnappyData] OLTP + OLAP Database built on Apache Spark [http://docs.huihoo.com/apache/spark/summit/2016/efficient-state-management-with-spark-20-and-scale-out-databases.pdf Efficient State Management With Spark 2.0 And Scale-Out Databases]
 +
*[http://livy.io/ Livy] an Open Source REST Service for Spark
  
 
==服务商==
 
==服务商==
 
*[http://databricks.com/ Spark背后的商业公司:Databricks],同时提供Spark服务提供商Certified Spark Distribution官方认证。
 
*[http://databricks.com/ Spark背后的商业公司:Databricks],同时提供Spark服务提供商Certified Spark Distribution官方认证。
 
*[http://www.stratio.com Stratio Platform]: The first "pure Spark" platform with 50% fewer components and operational complexity.
 
*[http://www.stratio.com Stratio Platform]: The first "pure Spark" platform with 50% fewer components and operational complexity.
 +
*IBM的思路是将Spark视为数据分析的操作系统。
  
 
==用户==
 
==用户==
[https://cwiki.apache.org/confluence/display/SPARK/Powered+By+Spark Powered By Spark]
+
*[https://cwiki.apache.org/confluence/display/SPARK/Powered+By+Spark Powered By Spark]
 +
*[https://zhuanlan.zhihu.com/p/27538270 60 TB 数据:Facebook 是如何大规模使用 Apache Spark 的]
  
 
==课程==
 
==课程==
第73行: 第95行:
 
==图集==
 
==图集==
 
<gallery>
 
<gallery>
 +
image:spark-runs-everywhere.png|Spark
 
image:spark-streaming-architecture.png|Streaming
 
image:spark-streaming-architecture.png|Streaming
 
image:Spark-Streaming-Cassandra-Kafka-and-Akka.png|堆栈
 
image:Spark-Streaming-Cassandra-Kafka-and-Akka.png|堆栈
第78行: 第101行:
 
image:apache-spark-cluster.png|Spark集群
 
image:apache-spark-cluster.png|Spark集群
 
image:Berkeley-Data-Analytics-Stack.png|伯克利数据分析堆栈BDAS
 
image:Berkeley-Data-Analytics-Stack.png|伯克利数据分析堆栈BDAS
 +
image:baidu-spark-one.png|百度Spark One
 
</gallery>
 
</gallery>
  

2018年10月17日 (三) 00:18的版本

Apache Spark:新一代大数据解决方案

目录

简介

Spark 是用ScalaJava语言编写的一套分布式内存计算系统,它的核心抽象模型是 RDD (Resilient Distributed Dataset,弹性分布式数据集),围绕 RDD 构建了一系列分布式 API,可以直接对数据集进行分布式处理。

相对于 MapReduce 上的批量计算、迭代计算,以及基于 Apache Hive 的 SQL 查询,Spark 可以带来一到两个数量级的性能提升。

Spark在广告领域有很多的成功应用。

版本

Apache Hive

Hive on Spark

Spark on HBase

Spark on YARN

通过Spark on YARN的方式与Apache Hadoop方便地共享集群的存储功能和计算资源。

Cassandra

elasticsearch

REST API

Spark 1.4引入REST API

http://localhost:4040/api/v1/applications

机器学习

项目

Awesome Spark Awesome.png

服务商

  • Spark背后的商业公司:Databricks,同时提供Spark服务提供商Certified Spark Distribution官方认证。
  • Stratio Platform: The first "pure Spark" platform with 50% fewer components and operational complexity.
  • IBM的思路是将Spark视为数据分析的操作系统。

用户

课程

文档

图集

链接

分享您的观点
个人工具
名字空间

变换
操作
导航
工具箱