欢迎大家赞助一杯啤酒🍺 我们准备了下酒菜:Formal mathematics/Isabelle/ML, Formal verification/Coq/ACL2, C++/F#/Lisp
Apache Spark
来自开放百科 - 灰狐
(版本间的差异)
小 (→图集) |
小 |
||
第38行: | 第38行: | ||
*[http://simin.me/projects/spatialspark/ SpatialSpark] | *[http://simin.me/projects/spatialspark/ SpatialSpark] | ||
*[https://github.com/ariskk/distributedWekaSpark Weka on Spark] | *[https://github.com/ariskk/distributedWekaSpark Weka on Spark] | ||
+ | |||
+ | ==用户== | ||
+ | [https://cwiki.apache.org/confluence/display/SPARK/Powered+By+Spark Powered By Spark] | ||
==课程== | ==课程== | ||
第53行: | 第56行: | ||
*[http://docs.huihoo.com/infoq/qconshanghai/2015/%e5%9f%ba%e4%ba%8e%e5%a4%a7%e6%95%b0%e6%8d%ae%e7%9a%84%e6%9c%ba%e5%99%a8%e5%ad%a6%e4%b9%a0%e6%8a%80%e6%9c%af/QCon%e4%b8%8a%e6%b5%b72015-%e5%9f%ba%e4%ba%8e%e6%9c%ba%e5%99%a8%e5%ad%a6%e4%b9%a0%e7%9a%84%e9%93%b6%e8%a1%8c%e5%8d%a1%e6%b6%88%e8%b4%b9%e6%95%b0%e6%8d%ae%e9%a2%84%e6%b5%8b%e4%b8%8e%e6%8e%a8%e8%8d%90-%e6%a2%81%e5%a0%b0%e6%b3%a2.pdf Machine learning in finance using Spark ML pipeline] | *[http://docs.huihoo.com/infoq/qconshanghai/2015/%e5%9f%ba%e4%ba%8e%e5%a4%a7%e6%95%b0%e6%8d%ae%e7%9a%84%e6%9c%ba%e5%99%a8%e5%ad%a6%e4%b9%a0%e6%8a%80%e6%9c%af/QCon%e4%b8%8a%e6%b5%b72015-%e5%9f%ba%e4%ba%8e%e6%9c%ba%e5%99%a8%e5%ad%a6%e4%b9%a0%e7%9a%84%e9%93%b6%e8%a1%8c%e5%8d%a1%e6%b6%88%e8%b4%b9%e6%95%b0%e6%8d%ae%e9%a2%84%e6%b5%8b%e4%b8%8e%e6%8e%a8%e8%8d%90-%e6%a2%81%e5%a0%b0%e6%b3%a2.pdf Machine learning in finance using Spark ML pipeline] | ||
*[http://docs.huihoo.com/infoq/qconshanghai/2015/%e5%9f%ba%e4%ba%8e%e5%a4%a7%e6%95%b0%e6%8d%ae%e7%9a%84%e6%9c%ba%e5%99%a8%e5%ad%a6%e4%b9%a0%e6%8a%80%e6%9c%af/QCon%e4%b8%8a%e6%b5%b72015-%e5%9c%a8Spark%e4%b8%8a%e6%9e%84%e5%bb%ba%e7%a1%ac%e4%bb%b6%e5%8a%a0%e9%80%9f%e7%9a%84%e5%88%86%e5%b8%83%e5%bc%8f%e7%a5%9e%e7%bb%8f%e7%bd%91%e7%bb%9c%e6%9e%b6%e6%9e%84-%e7%8e%8b%e5%a5%95%e6%81%92%e3%80%81%e9%bb%84%e6%99%9f%e7%9b%9b.pdf 在Spark上构建分布式神经网络] | *[http://docs.huihoo.com/infoq/qconshanghai/2015/%e5%9f%ba%e4%ba%8e%e5%a4%a7%e6%95%b0%e6%8d%ae%e7%9a%84%e6%9c%ba%e5%99%a8%e5%ad%a6%e4%b9%a0%e6%8a%80%e6%9c%af/QCon%e4%b8%8a%e6%b5%b72015-%e5%9c%a8Spark%e4%b8%8a%e6%9e%84%e5%bb%ba%e7%a1%ac%e4%bb%b6%e5%8a%a0%e9%80%9f%e7%9a%84%e5%88%86%e5%b8%83%e5%bc%8f%e7%a5%9e%e7%bb%8f%e7%bd%91%e7%bb%9c%e6%9e%b6%e6%9e%84-%e7%8e%8b%e5%a5%95%e6%81%92%e3%80%81%e9%bb%84%e6%99%9f%e7%9b%9b.pdf 在Spark上构建分布式神经网络] | ||
− | |||
− | |||
− | |||
==图集== | ==图集== |
2016年4月24日 (日) 08:34的版本
Apache Spark:新一代大数据解决方案
Spark 是用Scala语言编写的一套分布式内存计算系统,它的核心抽象模型是 RDD (Resilient Distributed Dataset,弹性分布式数据集),围绕 RDD 构建了一系列分布式 API,可以直接对数据集进行分布式处理。
相对于 MapReduce 上的批量计算、迭代计算,以及基于 Apache Hive 的 SQL 查询,Spark 可以带来一到两个数量级的性能提升。
Spark在广告领域有很多的成功应用。
目录 |
Apache Hive
Spark on HBase
Spark SQL on HBase: Spark SQL/DataFrame access to NoSQL data in Apache HBase
Spark on YARN
通过Spark on YARN的方式与Apache Hadoop方便地共享集群的存储功能和计算资源。
Cassandra
elasticsearch
项目
Spark的相关项目和生态系统: Supplemental Spark Projects
- spark-jobserver
- SparkR
- MLbase
- Apache Mesos
- Alluxio
- FiloDB
- Apache Zeppelin, Spark Notebook
- SnappyData: OLTP + OLAP Database built on Apache Spark
- Apache Mahout使用Spark作为后端
- BlinkDB
- Spindle
- SpatialSpark
- Weka on Spark
用户
课程
文档
- Spark上的矩阵计算和神经网络
- Hive Now Sparks
- Going Deep with Spark Streaming
- Significantly Speed up real world big data Applications using Apache Spark
- Finding Shoe Stores in >100k Merchants: Using Spark to Group All Things
- Delivering Meaning In NearReal Time At High Velocity & Massive Scale
- Streaming OODT: Combining Apache Spark's Power with Apache OODT
- Machine learning in finance using Spark ML pipeline
- 在Spark上构建分布式神经网络
图集
链接
- Apache Spark官网
- Spark @ GitHub
- Spark发源地:AMPLab
- UC Berkeley Big Data AMP Camp 大会资料
- Spark背后的商业公司:Databricks,同时提供Spark服务提供商Certified Spark Distribution官方认证。
- Spark开放文档
- Spark Summit
- Spark Packages
- 腾讯大数据之计算新贵Spark,广点通是最早使用Spark的应用之一
- Spark在腾讯数据仓库TDW的应用
- 《Spark快速数据处理》作者 Holden Karau 曾就职于谷歌、亚马逊、微软和Foursquare等公司,对开源情有独钟,参与了许多开源项目,如Linux内核无线驱动、Android程序监控、搜索引擎等,对存储系统、推荐系统、搜索分类等都有深入研究。
- CSDN.NET Spark技术社区
- 理解Spark的核心Resilient Distributed Datasets(RDD)
- 七牛技术总监陈超:记Spark Summit China 2015
- 七牛是如何搞定每天500亿条日志的
- 39 Machine Learning Libraries for Spark
分享您的观点