欢迎大家赞助一杯啤酒🍺 我们准备了下酒菜：Formal mathematics/Isabelle/ML, Formal verification/Coq/Agda, C++/Erlang/Lisp
Apache Spark
来自开放百科 - 灰狐
（版本间的差异）
小 (→Apache Hive) |
小 (→链接) |
||
| 第41行： | 第41行： | ||
*[http://docs.huihoo.com/apache/spark Spark开放文档] | *[http://docs.huihoo.com/apache/spark Spark开放文档] | ||
*[http://spark-summit.org/ Spark Summit] | *[http://spark-summit.org/ Spark Summit] | ||
| + | *[http://spark-packages.org/ Spark Packages] | ||
*[http://mp.weixin.qq.com/s?__biz=MzA3MDQ4MzQzMg==&mid=205137135&idx=1&sn=24de5f0a11d8a4f3bb40854717c1fa42&scene=4&uin=MTEyNDM1NzgxMA%3D%3D&key=88c7ba82076acca7edd27801f1257cdb75ade13b909dd6ed6c053bc893f6cc1ca31174495f0c63c423df1953fbdbadd7&devicetype=android-17&version=25030050&lang=zh_CN 腾讯大数据之计算新贵Spark，广点通是最早使用Spark的应用之一] | *[http://mp.weixin.qq.com/s?__biz=MzA3MDQ4MzQzMg==&mid=205137135&idx=1&sn=24de5f0a11d8a4f3bb40854717c1fa42&scene=4&uin=MTEyNDM1NzgxMA%3D%3D&key=88c7ba82076acca7edd27801f1257cdb75ade13b909dd6ed6c053bc893f6cc1ca31174495f0c63c423df1953fbdbadd7&devicetype=android-17&version=25030050&lang=zh_CN 腾讯大数据之计算新贵Spark，广点通是最早使用Spark的应用之一] | ||
*[http://www.biaodianfu.com/spark-tdw.html Spark在腾讯数据仓库TDW的应用] | *[http://www.biaodianfu.com/spark-tdw.html Spark在腾讯数据仓库TDW的应用] | ||
2016年1月18日 (一) 02:21的版本
Apache Spark：新一代大数据解决方案
Spark 是用Scala语言编写的一套分布式内存计算系统，它的核心抽象模型是 RDD (Resilient Distributed Dataset，弹性分布式数据集)，围绕 RDD 构建了一系列分布式 API，可以直接对数据集进行分布式处理。
相对于 MapReduce 上的批量计算、迭代计算，以及基于 Apache Hive 的 SQL 查询，Spark 可以带来一到两个数量级的性能提升。
Spark在广告领域有很多的成功应用。
目录 |
Apache Hive
Spark on YARN
通过Spark on YARN的方式与Apache Hadoop方便地共享集群的存储功能和计算资源。
Cassandra
文档
- Spark上的矩阵计算和神经网络
- Hive Now Sparks
- Going Deep with Spark Streaming
- Significantly Speed up real world big data Applications using Apache Spark
- Finding Shoe Stores in >100k Merchants: Using Spark to Group All Things
- Delivering Meaning In NearReal Time At High Velocity & Massive Scale
- Streaming OODT: Combining Apache Spark's Power with Apache OODT
图集
Streaming
堆栈
Spark和MapReduce
链接
- Apache Spark官网
- Spark @ GitHub
- Spark发源地：AMPLab
- UC Berkeley Big Data AMP Camp 大会资料
- Spark背后的商业公司：Databricks，同时提供Spark服务提供商Certified Spark Distribution官方认证。
- Spark开放文档
- Spark Summit
- Spark Packages
- 腾讯大数据之计算新贵Spark，广点通是最早使用Spark的应用之一
- Spark在腾讯数据仓库TDW的应用
- 《Spark快速数据处理》作者 Holden Karau 曾就职于谷歌、亚马逊、微软和Foursquare等公司，对开源情有独钟，参与了许多开源项目，如Linux内核无线驱动、Android程序监控、搜索引擎等，对存储系统、推荐系统、搜索分类等都有深入研究。
- CSDN.NET Spark技术社区
- 理解Spark的核心Resilient Distributed Datasets(RDD)
- 七牛技术总监陈超：记Spark Summit China 2015
- 七牛是如何搞定每天500亿条日志的
- 39 Machine Learning Libraries for Spark
分享您的观点
