Machine learning on Hadoop

2018年11月9日 (五) 03:22的版本

Deep learning on Hortonworks Data Platform (HDP)

在 HDP 上开发、部署、运营深度学习软件基础设施，覆盖 Deep learning on hadoop, Deep learning on spark 等领域。

好处

在HDP(Hadoop)上进行深度学习主要有以下好处：

• 深度学习直接在Hadoop集群上执行，可以避免数据在Hadoop集群和单独的深度学习集群之间移动；
• 同Hadoop数据处理和Spark机器学习管道一样，深度学习也可以定义为Apache Oozie工作流中的一个步骤；
• YARN可以与深度学习很好地协同，深度学习的多个实验可以在单个集群上同时进行。与传统方法相比，这使得深度学习极其高效。

指南

• Hadoop is Transforming Advertising

项目

• BigDL
• Apache SINGA
• deeplearning4j
• H2O H2O on Hadoop
• Keras
• 雅虎CaffeOnSpark将深度学习带入Hadoop和Spark集群，雅虎如何在Hadoop集群上实现大规模分布式深度学习。
• DMP on HDP
• OpenAds和灰狐推荐

文档

• Deep Learning on HDP
• Machine Learning with Apache Spark
• NLP Structured Data Investigation on Non-Text
• Real Time Processing with Hadoop
• Operational Best Practices Workshop
• Perfect Together Spark + Hadoop

图集

• 

  GPU on YARN

• 

  基于Hadoop的深度学习

• 

  机器学习应用于大数据

• 

  基于Spark的深度学习

链接

• First Class GPUs support in Apache Hadoop 3.1, YARN & HDP 3.0
• Deep learning on Apache Spark and Apache Hadoop with Deeplearning4j
• Hadoop at Yahoo
• Large Scale Distributed Deep Learning on Hadoop Clusters
• BigDL: Distributed Deep Learning Library for Apache Spark