Apache Spark

来自开放百科 - 灰狐
(版本间的差异)
跳转到: 导航, 搜索
(项目)
(图集)
 
(未显示1个用户的1个中间版本)
第1行: 第1行:
 
Apache Spark:新一代大数据解决方案
 
Apache Spark:新一代大数据解决方案
  
Spark 是用[[Scala]]语言编写的一套分布式内存计算系统,它的核心抽象模型是 RDD (Resilient Distributed Dataset,弹性分布式数据集),围绕 RDD 构建了一系列分布式 API,可以直接对数据集进行分布式处理。
+
==简介==
 +
Spark 是用[[Scala]]和[[Java]]语言编写的一套分布式内存计算系统,它的核心抽象模型是 RDD (Resilient Distributed Dataset,弹性分布式数据集),围绕 RDD 构建了一系列分布式 API,可以直接对数据集进行分布式处理。
  
 
相对于 [[MapReduce]] 上的批量计算、迭代计算,以及基于 [[Apache Hive]] 的 SQL 查询,Spark 可以带来一到两个数量级的性能提升。
 
相对于 [[MapReduce]] 上的批量计算、迭代计算,以及基于 [[Apache Hive]] 的 SQL 查询,Spark 可以带来一到两个数量级的性能提升。
第101行: 第102行:
 
image:Berkeley-Data-Analytics-Stack.png|伯克利数据分析堆栈BDAS
 
image:Berkeley-Data-Analytics-Stack.png|伯克利数据分析堆栈BDAS
 
image:baidu-spark-one.png|百度Spark One
 
image:baidu-spark-one.png|百度Spark One
 +
image:hadoop-vs-spark.png|Hadoop vs Spark
 +
image:Spark-Streaming.png|Spark Streaming
 
</gallery>
 
</gallery>
  

2022年4月20日 (三) 00:10的最后版本

Apache Spark:新一代大数据解决方案

目录

[编辑] 简介

Spark 是用ScalaJava语言编写的一套分布式内存计算系统,它的核心抽象模型是 RDD (Resilient Distributed Dataset,弹性分布式数据集),围绕 RDD 构建了一系列分布式 API,可以直接对数据集进行分布式处理。

相对于 MapReduce 上的批量计算、迭代计算,以及基于 Apache Hive 的 SQL 查询,Spark 可以带来一到两个数量级的性能提升。

Spark在广告领域有很多的成功应用。

[编辑] 版本

[编辑] Apache Hive

Hive on Spark

[编辑] Spark on HBase

[编辑] Spark on YARN

通过Spark on YARN的方式与Apache Hadoop方便地共享集群的存储功能和计算资源。

[编辑] Cassandra

[编辑] elasticsearch

[编辑] REST API

Spark 1.4引入REST API

http://localhost:4040/api/v1/applications

[编辑] 机器学习

[编辑] 项目

Awesome Spark Awesome.png

[编辑] 服务商

  • Spark背后的商业公司:Databricks,同时提供Spark服务提供商Certified Spark Distribution官方认证。
  • Stratio Platform: The first "pure Spark" platform with 50% fewer components and operational complexity.
  • IBM的思路是将Spark视为数据分析的操作系统。

[编辑] 用户

[编辑] 课程

[编辑] 文档

[编辑] 图集

[编辑] 链接

分享您的观点
个人工具
名字空间

变换
操作
导航
工具箱