Deep learning

来自开放百科 - 灰狐
（版本间的差异）
跳转到： 导航, 搜索
小 (→‎链接)
小 (→‎项目)
 
（未显示1个用户的87个中间版本）
第4行： 第4行：
  
 
同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分。不同的学习框架下建立的学习模型很是不同．例如，卷积神经网络（[[Convolutional neural network]]，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度信念网络（Deep Belief Nets，简称DBNs）就是一种无监督学习下的机器学习模型。
 
同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分。不同的学习框架下建立的学习模型很是不同．例如，卷积神经网络（[[Convolutional neural network]]，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度信念网络（Deep Belief Nets，简称DBNs）就是一种无监督学习下的机器学习模型。
 +
 +
==简介==
 +
提出深度置信网络(Deep Belief Networks，DBN) 的 2006 年视作机器学习领域中的深度学习元年。
 +
 +
==10大架构==
 +
[https://www.analyticsvidhya.com/blog/2017/08/10-advanced-deep-learning-architectures-data-scientists/ 10 Advanced Deep Learning Architectures Data Scientists Should Know!]
 +
*1. AlexNet
 +
*2. VGG Net
 +
*3. GoogleNet
 +
*4. ResNet
 +
*5. ResNeXt
 +
*6. RCNN (Region Based CNN)
 +
*7. YOLO (You Only Look Once)
 +
*8. SqueezeNet
 +
*9. SegNet
 +
*10. GAN (Generative Adversarial Network)
  
 
==项目==
 
==项目==
 +
[[文件:apache-tvm-logo.png|right|Apache TVM]]
 +
*[https://github.com/ChristosChristofidis/awesome-deep-learning Awesome Deep Learning] [[image:awesome.png]]
 +
*[https://blog.openai.com/infrastructure-for-deep-learning/ Infrastructure for Deep Learning]
 +
*[http://www.kdnuggets.com/2016/01/top-10-deep-learning-github.html Top 10 Deep Learning Projects on Github]
 +
*[[Deeplearning4j]], [http://deeplearning4j.org/glossary 深度学习词汇表]
 +
*[[Apache SINGA]]
 +
*[https://github.com/apache/tvm Apache TVM]
 +
*[[H2O]]
 +
*[[Caffe]]
 +
*[[Torch]]
 +
*[[PyTorch]]
 +
*[[theano]]
 +
*[[TensorFlow]]
 +
*[[MXNet]]
 +
*[https://github.com/amznlabs/amazon-dsstne Amazon DSSTNE]
 +
*[[keras]]
 +
*[https://github.com/yahoo/CaffeOnSpark 雅虎CaffeOnSpark], [http://www.infoq.com/cn/news/2015/10/Hadoop-Caffe-Spark 雅虎如何在Hadoop集群上实现大规模分布式深度学习]
 +
*[[PaddlePaddle]] [https://github.com/baidu-research/warp-ctc 百度warp-ctc]
 +
*[[mocha.jl]]
 +
*[https://github.com/ivan-vasilev/neuralnetworks JavaNN]
 
*[[Emergent]]
 
*[[Emergent]]
−
*[http://caffe.berkeleyvision.org/ Caffe deep learning framework]
+
*[https://developer.nvidia.com/cuDNN cuDNN]
 +
*[https://github.com/facebook/fbcunn fbcunn] Deep Learning CUDA Extensions from Facebook AI Research.
 +
*[https://github.com/tqchen/tinyflow TinyFlow] Build Your Own DL System in 2K Lines
 +
 
 +
==图书==
 +
*[http://book.huihoo.com/deep-learning/ 《Deep Learning》] [https://www.amazon.cn/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0-%E4%BC%8A%E6%81%A9-%E5%8F%A4%E5%BE%B7%E8%B4%B9%E6%B4%9B/dp/B073LWHBBY/ 《深度学习(deep learning)》 ]深度学习领域目前最经典的图书，没有之一。[https://github.com/exacity/deeplearningbook-chinese 在GitHub上阅读Deep Learning中文翻译或下载本书]
  
 
==文档==
 
==文档==
−
*[http://docs.huihoo.com/deep-learning/deep-learning-tutorial-release-0.1.pdf Deep Learning Tutorial Release 0.1]
+
*[http://docs.huihoo.com/deep-learning/Deep-Learning-Tutorial-ICML-20130616.pdf Deep Learning Tutorial, ICML, Atlanta, 2013-06-16] Yann LeCun编写，200页幻灯片。
 +
*[http://docs.huihoo.com/deep-learning/deep-learning-for-ai-from-machine-perception-to-machine-cognition-lideng-2016.pdf 微软AI首席科学家邓力：深度学习技术及趋势报告]
 +
*[http://docs.huihoo.com/deep-learning/Learning-Deep-Architectures-for-AI.pdf Learning Deep Architectures for AI], [http://docs.huihoo.com/deep-learning/Learning-Deep-Architectures-for-AI-zh-CN.pdf Learning Deep Architectures for AI 中文版]
 +
*[http://docs.huihoo.com/deep-learning/deeplearningsummerschool/2015/Deep-Learning-Deep-Boltzmann-Machines.pdf Deep Learning: Deep Boltzmann Machines]
 +
*[http://docs.huihoo.com/deep-learning/Artificial-Neural-Networks-and-Deep-Learning--Slides-zh-CN-20151227.pdf 神经网络与深度学习-幻灯片]
 +
*[http://docs.huihoo.com/deep-learning/Artificial-Neural-Networks-and-Deep-Learning-Notes-zh-CN-20151211.pdf 神经网络与深度学习-讲义]
 +
*[http://docs.huihoo.com/deep-learning/Deep-Learning-Methods-and-Applications.pdf Deep Learning Methods and Applications]
 +
*[http://docs.huihoo.com/blackhat/usa-2015/us-15-Wang-The-Applications-Of-Deep-Learning-On-Traffic-Identification.pdf The Applications of Deep Learning on Traffic Identification]
 +
*[http://docs.huihoo.com/blackhat/usa-2015/us-15-Davis-Deep-Learning-On-Disassembly.pdf Deep Learning on Disassembly Data 反汇编数据深度学习]
 +
*[http://docs.huihoo.com/deep-learning/deep-learning-tutorial-release-0.1.pdf Deep Learning Tutorial Release 0.1]、[http://docs.huihoo.com/deep-learning/deep-learning-tutorials/ 在线版]、[https://github.com/lisa-lab/DeepLearningTutorials GitHub]
 +
*[http://docs.huihoo.com/deep-learning/a-tutorial-on-deep-learning.pdf A Tutorial on Deep Learning]
 +
*[http://docs.huihoo.com/deep-learning/Memory-Reading-and-Comprehension-Deep-Learning-and-NLP.pdf 记忆、阅读与理解 (深度学习 & NLP)]
 +
*[http://docs.huihoo.com/deep-learning/deeplearningsummerschool/2015/Seeing-People-with-Deep-Learning.pdf Seeing People with Deep Learning]
 +
*[http://docs.huihoo.com/infoq/qconbeijing/2016/day1/%E4%BA%9A%E9%A9%AC%E9%80%8AAWS%E6%B7%B1%E5%BA%A6%E5%88%9B%E6%96%B0%E5%AE%9E%E8%B7%B5%EF%BC%88%E5%8E%82%E5%95%86%E5%85%B1%E5%BB%BA%EF%BC%89/8-4-Deep%20Learning%20with%20Python-%E8%B4%B9%E8%89%AF%E5%AE%8F.pdf Deep Learning with Python]
 +
 
 +
==论文==
 +
[http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=401805759&idx=1&sn=74b731b14185140ea37fe671a73f96d4&scene=0#wechat_redirect arXiv 2015 深度学习年度十大论文]
 +
* 1、无穷维度的词向量 Infinite Dimensional Word Embeddings
 +
* 2、利用可逆学习进行基于梯度的超参数优化 Gradient-based Hyperparameter Optimization through Reversible Learning
 +
* 3、在线加速学习 Speed Learning on the Fly
 +
* 4、空间变换网络 Spatial Transformer Networks
 +
* 5、聚类对于近似最大内积搜索来说是高效的 Clustering is Efficient for Approximate Maximum Inner Product Search
 +
* 6、在线无回溯训练递归神经网络 Training Recurrent Networks Online without Backtracking
 +
* 7、利用梯形网络进行半监督式学习 Semi-Supervised Learning with Ladder Network
 +
* 8、通往基于神经网络的推理 Towards Neural Network-Based Reasoning
 +
* 9、对递归神经网络序列预测的定期采样 Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks
 +
* 10、LSTM：漫游搜索 LSTM: A Search Space Odyssey
 +
 
 +
==入门资源索引==
 +
[http://www.r-bloggers.com/lang/chinese/2083 深度学习入门资源索引]
 +
 
 +
深度学习（Deep Learning）属于非常前沿的学科，没有现成的的综合型教材，主要是通过阅读大量论文和代码练习来学习。值得读的经典论文很多，下面介绍的一些教程中多少都有提及，另外就是去google重要文献。代码方面推荐使用python为基础的theano框架，因为它比较偏底层，可以从细节掌握如何构建一个深度学习模块，而且方便结合python在数据领域的其它积累，例如numpy。当然到了生产环境你可以再考虑torch之类的框架。从代码角度切入学习的好处是，理解起来不会像理论切入那么枯燥，可以很快做起一个好玩的东西。当然，最后你还是得补充理论的。下面精选介绍一些本人在学习时遇到的好教程。
 +
 
 +
* 1、[http://deeplearning.net/tutorial/ 入门首选]
 +
该站提供了一系列的theano代码示范，通过研究模仿，就可以学会包括NN/DBN/CNN/RNN在内的大部分主流技术。其中也有很多文献连接以供参考。
 +
 
 +
* 2、[http://neuralnetworksanddeeplearning.com/ BP神经网络]
 +
第1部分的教程中，神经网格的参数是theano自动求导的，如果想深入了解细节，还得手动推导加代码实现一遍。该教程对BP神经网络的理论细节讲的非常好。
 +
 
 +
* 3、[http://goodfeli.github.io/dlbook/ 理论补充]
 +
该书内容比较广泛，虽未最终完成，但已初见气象。用来完善理论知识是再好不过。
 +
 
 +
* 4、[http://vision.stanford.edu/teaching/cs231n/syllabus.html 图像处理中的卷积神经网络]
 +
前面三部分相当于导论，比较宽泛一些，该教程则是专注于卷积神经网络在图像视觉领域的运用，CNN方面知识由此深入。
 +
 
 +
* 5、[http://cs224d.stanford.edu/ 自然语言处理中的深度学习]
 +
本教程则偏重于深度学习在自然语言处理领域的运用，词向量等方面知识由此深入。
 +
 
 +
* 6、[http://www.wildml.com/ 递归神经网络]
 +
该博客讲的RNN是非常棒的系列，不可不读。
 +
 
 +
* 7、[http://keras.io/ keras框架]
 +
keras框架是基于theano的上层框架，容易快速出原型，网站中提供的大量实例也是非常难得的研究资料。
 +
 
 +
* 8、[https://github.com/nreimers/deeplearning4nlp-tutorial/tree/master/2015-10_Lecture 深度学习和NLP]
 +
该教程是第5部分的补充，理论讲的不多，theano和keras代码讲的很多，附带的代码笔记很有参考价值。
 +
 
 +
* 9、[https://www.cs.ox.ac.uk/people/nando.defreitas/machinelearning/ 机器学习教程]
 +
牛津大学的机器学习课程，讲到了大量深度学习和强化学习的内容，适合于复习过一遍。
 +
 
 +
* 10、[http://xccds1977.blogspot.com/2015/10/blog-post.html 搭建硬件平台]
 +
到这里，你的理论和代码功力应该差不多入门了，可以组个GPU机器来大干一场了。可以参考笔者这个博客来攒个机器。
 +
 
 +
* 11、去[http://www.kaggle.com/ kaggle]实战玩玩吧
 +
 
 +
==厂商==
 +
*[https://aws.amazon.com/marketplace/pp/B01M0AXXQB Deep Learning AMI]
 +
 
 +
==培训==
 +
*[https://study.163.com/topics/deepLearning/ 网易云课堂deeplearning.ai免费课程]
 +
*[https://stanford.edu/~shervine/teaching/cs-230/ CS 230 ― Deep Learning]
 +
*[https://github.com/d2l-ai/d2l-zh 《动手学深度学习》]
 +
 
 +
==图集==
 +
<gallery>
 +
image:Neural-Network-and-Deep-Learning.png|神经网络与深度学习
 +
image:deep-learning-and-ai.png|深度学习
 +
image:machine-learning-vs-deep-learning.png|机器学习和深度学习
 +
image:probabilistic-graphical-models.png|概率图模型
 +
image:deeplearning.ai-training.png|成为深度学习工程师的第一步
 +
image:popular-deep-learning-models.png|深度学习模型
 +
image:reinforcement-learning.png|强化学习
 +
image:deep-learning-input-output-flow.png|输入输出流
 +
image:deep-learning-use-case-industries.png|工业应用
 +
image:five-industry-applications-of-deep-learning.png|五大应用
 +
image:facebook-big-sur-gpu-server.jpg|Facebook Big Sur
 +
image:tvm-stack.png|TVM
 +
image:vta_stack.png|VTA
 +
</gallery>
  
 
==链接==
 
==链接==
−
*[http://yann.lecun.com/ 深度学习界的泰斗Yann LeCun，卷积网络技术作者，Facebook AI 研究院负责人]
+
*[http://bvlc.eecs.berkeley.edu/ Berkeley Vision and Learning Center]
 +
*[https://www.cs.toronto.edu/~hinton/ Geoffrey E. Hinton 深度学习之父，效力Google]
 +
*[http://yann.lecun.com/ 深度学习界的泰斗Yann LeCun，卷积神经网络之父，Facebook AI 研究院负责人]
 +
*[http://www.andrewng.org/ Andrew Ng（吴恩达）加入百度负责深度学习研究院]
 
*[http://deeplearning.net/ Deep Learning]
 
*[http://deeplearning.net/ Deep Learning]
 
*[https://github.com/rasmusbergpalm/DeepLearnToolbox A Matlab toolbox for Deep Learning]
 
*[https://github.com/rasmusbergpalm/DeepLearnToolbox A Matlab toolbox for Deep Learning]
 +
*[http://deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B UFLDL-斯坦福大学Andrew Ng Deep Learning 教程]，中文教程由@邓侃 博士组织翻译。
 +
*[http://www.52nlp.cn/?p=8339 斯坦福大学深度学习与自然语言处理第一讲：引言]
 +
*[http://www.52nlp.cn/?p=8438 斯坦福大学深度学习与自然语言处理第二讲：词向量]
 +
*[http://www.52nlp.cn/?p=8546 斯坦福大学深度学习与自然语言处理第三讲：高级的词向量表示]
 
*[http://tech2ipo.com/76487 微软深度学习人工智能超越Google Brain] Adam 运行了 ImageNet 22K 的深度学习测评软件，Andrew Ng 说：“这是一种激进的策略，但是我知道为什么它会节省计算力，这种方法不错，很有趣。
 
*[http://tech2ipo.com/76487 微软深度学习人工智能超越Google Brain] Adam 运行了 ImageNet 22K 的深度学习测评软件，Andrew Ng 说：“这是一种激进的策略，但是我知道为什么它会节省计算力，这种方法不错，很有趣。
 
*[http://meta-guide.com/software-meta-guide/100-best-github-deep-learning/ 100 Best GitHub: Deep Learning]
 
*[http://meta-guide.com/software-meta-guide/100-best-github-deep-learning/ 100 Best GitHub: Deep Learning]
 
*[http://docs.huihoo.com/deep-learning/ Deep learning 开放文档]
 
*[http://docs.huihoo.com/deep-learning/ Deep learning 开放文档]
 
*[http://www.youku.com/playlist_show/id_21508721.html 复旦大学 吴立德教授 《深度学习课程》视频]
 
*[http://www.youku.com/playlist_show/id_21508721.html 复旦大学 吴立德教授 《深度学习课程》视频]
 +
*[http://www.teglor.com/b/deep-learning-libraries-language-cm569/ Deep Learning Libraries by Language]
 +
*[https://developer.nvidia.com/deep-learning NVIDIA GPUs - The Engine of Deep Learning]
 +
*[http://www.computervisiontalks.com/nvidia-deep-learning-course-class-1-introduction-to-deep-learning/ NVIDIA Deep Learning Course: Class #1 – Introduction to Deep Learning]
 +
*[http://www.computervisiontalks.com/nvidia-deep-learning-course-class-2-getting-started-with-digits/ NVIDIA Deep Learning Course: Class #2 – Getting Started with DIGITS]
 +
*[http://www.computervisiontalks.com/nvidia-deep-learning-course-class-3-getting-started-with-caffe/ NVIDIA Deep Learning Course: Class #3 – Getting started with Caffe]
 +
*[http://www.computervisiontalks.com/introduction-to-deep-learning-with-python/ Introduction to Deep Learning with Python]
 +
*[http://www.csdn.net/article/2015-09-15/2825714 各种编程语言的深度学习库整理: Python、Matlab、CPP、Java、JavaScript、Lua、Julia、Lisp、Haskell、.NET、R等语言]
 +
*[https://github.com/kjw0612/awesome-deep-vision Awesome Deep Vision]
 +
*[http://www.52cs.org/ 我爱计算机]
 +
*[http://www.csdn.net/article/2015-10-01/2825840 基于Hadoop集群的大规模分布式深度学习]
 +
*[http://www.csdn.net/article/2015-06-01/2824811 深度学习-LeCun、Bengio和Hinton的联合综述]
 +
*[http://www.csdn.net/article/2015-12-16/2826498 深度学习的最新进展及诺亚方舟实验室的研究]
 +
*[http://36kr.com/p/533832.html 深度学习三十年创新路]
 +
*[http://www.csdn.net/article/2015-09-16/2825716 Yoshua Bengio等大神传授：26条深度学习经验]
  
 
[[category:machine learning]]
 
[[category:machine learning]]
 +
[[category:artificial intelligence]]
 
[[category:neural network]]
 
[[category:neural network]]
 +
[[category:python]]
 +
[[category:lua]]
 +
[[category:java]]

2022年3月11日 (五) 08:44的最后版本

Wikipedia-35x35.png 您可以在Wikipedia上了解到此条目的英文信息 Deep learning Thanks, Wikipedia.

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分。不同的学习框架下建立的学习模型很是不同．例如，卷积神经网络（Convolutional neural network，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度信念网络（Deep Belief Nets，简称DBNs）就是一种无监督学习下的机器学习模型。

目录

[编辑] 简介

提出深度置信网络(Deep Belief Networks，DBN) 的 2006 年视作机器学习领域中的深度学习元年。

[编辑] 10大架构

10 Advanced Deep Learning Architectures Data Scientists Should Know!

  • 1. AlexNet
  • 2. VGG Net
  • 3. GoogleNet
  • 4. ResNet
  • 5. ResNeXt
  • 6. RCNN (Region Based CNN)
  • 7. YOLO (You Only Look Once)
  • 8. SqueezeNet
  • 9. SegNet
  • 10. GAN (Generative Adversarial Network)

[编辑] 项目

Apache TVM

[编辑] 图书

[编辑] 文档

[编辑] 论文

arXiv 2015 深度学习年度十大论文

  • 1、无穷维度的词向量 Infinite Dimensional Word Embeddings
  • 2、利用可逆学习进行基于梯度的超参数优化 Gradient-based Hyperparameter Optimization through Reversible Learning
  • 3、在线加速学习 Speed Learning on the Fly
  • 4、空间变换网络 Spatial Transformer Networks
  • 5、聚类对于近似最大内积搜索来说是高效的 Clustering is Efficient for Approximate Maximum Inner Product Search
  • 6、在线无回溯训练递归神经网络 Training Recurrent Networks Online without Backtracking
  • 7、利用梯形网络进行半监督式学习 Semi-Supervised Learning with Ladder Network
  • 8、通往基于神经网络的推理 Towards Neural Network-Based Reasoning
  • 9、对递归神经网络序列预测的定期采样 Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks
  • 10、LSTM：漫游搜索 LSTM: A Search Space Odyssey

[编辑] 入门资源索引

深度学习入门资源索引

深度学习（Deep Learning）属于非常前沿的学科，没有现成的的综合型教材，主要是通过阅读大量论文和代码练习来学习。值得读的经典论文很多，下面介绍的一些教程中多少都有提及，另外就是去google重要文献。代码方面推荐使用python为基础的theano框架，因为它比较偏底层，可以从细节掌握如何构建一个深度学习模块，而且方便结合python在数据领域的其它积累，例如numpy。当然到了生产环境你可以再考虑torch之类的框架。从代码角度切入学习的好处是，理解起来不会像理论切入那么枯燥，可以很快做起一个好玩的东西。当然，最后你还是得补充理论的。下面精选介绍一些本人在学习时遇到的好教程。

该站提供了一系列的theano代码示范，通过研究模仿，就可以学会包括NN/DBN/CNN/RNN在内的大部分主流技术。其中也有很多文献连接以供参考。

第1部分的教程中，神经网格的参数是theano自动求导的，如果想深入了解细节，还得手动推导加代码实现一遍。该教程对BP神经网络的理论细节讲的非常好。

该书内容比较广泛，虽未最终完成，但已初见气象。用来完善理论知识是再好不过。

前面三部分相当于导论，比较宽泛一些，该教程则是专注于卷积神经网络在图像视觉领域的运用，CNN方面知识由此深入。

本教程则偏重于深度学习在自然语言处理领域的运用，词向量等方面知识由此深入。

该博客讲的RNN是非常棒的系列，不可不读。

keras框架是基于theano的上层框架，容易快速出原型，网站中提供的大量实例也是非常难得的研究资料。

该教程是第5部分的补充，理论讲的不多，theano和keras代码讲的很多，附带的代码笔记很有参考价值。

牛津大学的机器学习课程，讲到了大量深度学习和强化学习的内容，适合于复习过一遍。

到这里，你的理论和代码功力应该差不多入门了，可以组个GPU机器来大干一场了。可以参考笔者这个博客来攒个机器。

  • 11、去kaggle实战玩玩吧

[编辑] 厂商

[编辑] 培训

[编辑] 图集

  • 神经网络与深度学习

  • 深度学习

  • 机器学习和深度学习

  • 概率图模型

  • 成为深度学习工程师的第一步

  • 深度学习模型

  • 强化学习

  • 输入输出流

  • 工业应用

  • 五大应用

  • Facebook Big Sur

  • TVM

  • VTA

[编辑] 链接

来自“http://wiki.huihoo.com/wiki/?title=Deep_learning&oldid=161333”
分享您的观点
个人工具
名字空间

变换
操作
导航
工具箱