欢迎大家赞助一杯啤酒🍺 我们准备了下酒菜：Formal mathematics/Isabelle/ML, Formal verification/Coq/Agda, C++/Erlang/Lisp
Machine learning on Hadoop
来自开放百科 - 灰狐
（版本间的差异）
小 (→图集) |
小 (→链接) |
||
| 第36行： | 第36行： | ||
==链接== | ==链接== | ||
| + | *[https://zh.hortonworks.com/blog/gpus-support-in-apache-hadoop-3-1-yarn-hdp-3/ First Class GPUs support in Apache Hadoop 3.1, YARN & HDP 3.0] | ||
*[http://blog.cloudera.com/blog/2017/06/deep-learning-on-apache-spark-and-hadoop-with-deeplearning4j/ Deep learning on Apache Spark and Apache Hadoop with Deeplearning4j] | *[http://blog.cloudera.com/blog/2017/06/deep-learning-on-apache-spark-and-hadoop-with-deeplearning4j/ Deep learning on Apache Spark and Apache Hadoop with Deeplearning4j] | ||
*[http://yahoohadoop.tumblr.com/ Hadoop at Yahoo] | *[http://yahoohadoop.tumblr.com/ Hadoop at Yahoo] | ||
2018年10月2日 (二) 05:35的版本
Deep learning on Hortonworks Data Platform (HDP)
在 HDP 上开发、部署、运营深度学习软件基础设施，覆盖 Deep learning on hadoop, Deep learning on spark 等领域。
目录 |
好处
在HDP(Hadoop)上进行深度学习主要有以下好处：
- 深度学习直接在Hadoop集群上执行，可以避免数据在Hadoop集群和单独的深度学习集群之间移动；
- 同Hadoop数据处理和Spark机器学习管道一样，深度学习也可以定义为Apache Oozie工作流中的一个步骤；
- YARN可以与深度学习很好地协同，深度学习的多个实验可以在单个集群上同时进行。与传统方法相比，这使得深度学习极其高效。
指南
项目
- BigDL
- Apache SINGA
- deeplearning4j
- H2O
- Keras
- 雅虎CaffeOnSpark将深度学习带入Hadoop和Spark集群，雅虎如何在Hadoop集群上实现大规模分布式深度学习。
- DMP on HDP
文档
- Deep Learning on HDP
- Machine Learning with Apache Spark
- NLP Structured Data Investigation on Non-Text
- Real Time Processing with Hadoop
- Operational Best Practices Workshop
- Perfect Together Spark + Hadoop
图集
GPU on YARN
基于Hadoop的深度学习
机器学习应用于大数据
链接
分享您的观点
