Deep learning

2017年9月2日 (六) 05:16的版本

您可以在Wikipedia上了解到此条目的英文信息 Deep learning Thanks, Wikipedia.

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分。不同的学习框架下建立的学习模型很是不同．例如，卷积神经网络（Convolutional neural network，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度信念网络（Deep Belief Nets，简称DBNs）就是一种无监督学习下的机器学习模型。

简介

10大架构

10 Advanced Deep Learning Architectures Data Scientists Should Know!

• 1. AlexNet
• 2. VGG Net
• 3. GoogleNet
• 4. ResNet
• 5. ResNeXt
• 6. RCNN (Region Based CNN)
• 7. YOLO (You Only Look Once)
• 8. SqueezeNet
• 9. SegNet
• 10. GAN (Generative Adversarial Network)

项目

• Awesome Deep Learning
• Infrastructure for Deep Learning
• Top 10 Deep Learning Projects on Github
• Deeplearning4j, 深度学习词汇表
• Apache SINGA
• H2O
• Caffe
• Torch
• PyTorch
• theano
• TensorFlow
• MXNet
• Amazon DSSTNE
• keras
• 雅虎CaffeOnSpark, 雅虎如何在Hadoop集群上实现大规模分布式深度学习
• PaddlePaddle 百度warp-ctc
• mocha.jl
• JavaNN
• Emergent
• cuDNN
• fbcunn Deep Learning CUDA Extensions from Facebook AI Research.
• TinyFlow Build Your Own DL System in 2K Lines

图书

• 《Deep Learning》

文档

• Deep Learning Tutorial, ICML, Atlanta, 2013-06-16 Yann LeCun编写，200页幻灯片。
• 微软AI首席科学家邓力：深度学习技术及趋势报告
• Learning Deep Architectures for AI, Learning Deep Architectures for AI 中文版
• Deep Learning: Deep Boltzmann Machines
• 神经网络与深度学习-幻灯片
• 神经网络与深度学习-讲义
• Deep Learning Methods and Applications
• The Applications of Deep Learning on Traffic Identification
• Deep Learning on Disassembly Data 反汇编数据深度学习
• Deep Learning Tutorial Release 0.1、在线版、GitHub
• A Tutorial on Deep Learning
• 记忆、阅读与理解 (深度学习 & NLP)
• Seeing People with Deep Learning
• Deep Learning with Python

论文

arXiv 2015 深度学习年度十大论文

• 1、无穷维度的词向量 Infinite Dimensional Word Embeddings
• 2、利用可逆学习进行基于梯度的超参数优化 Gradient-based Hyperparameter Optimization through Reversible Learning
• 3、在线加速学习 Speed Learning on the Fly
• 4、空间变换网络 Spatial Transformer Networks
• 5、聚类对于近似最大内积搜索来说是高效的 Clustering is Efficient for Approximate Maximum Inner Product Search
• 6、在线无回溯训练递归神经网络 Training Recurrent Networks Online without Backtracking
• 7、利用梯形网络进行半监督式学习 Semi-Supervised Learning with Ladder Network
• 8、通往基于神经网络的推理 Towards Neural Network-Based Reasoning
• 9、对递归神经网络序列预测的定期采样 Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks
• 10、LSTM：漫游搜索 LSTM: A Search Space Odyssey

入门资源索引

深度学习入门资源索引

深度学习（Deep Learning）属于非常前沿的学科，没有现成的的综合型教材，主要是通过阅读大量论文和代码练习来学习。值得读的经典论文很多，下面介绍的一些教程中多少都有提及，另外就是去google重要文献。代码方面推荐使用python为基础的theano框架，因为它比较偏底层，可以从细节掌握如何构建一个深度学习模块，而且方便结合python在数据领域的其它积累，例如numpy。当然到了生产环境你可以再考虑torch之类的框架。从代码角度切入学习的好处是，理解起来不会像理论切入那么枯燥，可以很快做起一个好玩的东西。当然，最后你还是得补充理论的。下面精选介绍一些本人在学习时遇到的好教程。

• 1、入门首选

该站提供了一系列的theano代码示范，通过研究模仿，就可以学会包括NN/DBN/CNN/RNN在内的大部分主流技术。其中也有很多文献连接以供参考。

• 2、BP神经网络

第1部分的教程中，神经网格的参数是theano自动求导的，如果想深入了解细节，还得手动推导加代码实现一遍。该教程对BP神经网络的理论细节讲的非常好。

• 3、理论补充

该书内容比较广泛，虽未最终完成，但已初见气象。用来完善理论知识是再好不过。

• 4、图像处理中的卷积神经网络

前面三部分相当于导论，比较宽泛一些，该教程则是专注于卷积神经网络在图像视觉领域的运用，CNN方面知识由此深入。

• 5、自然语言处理中的深度学习

本教程则偏重于深度学习在自然语言处理领域的运用，词向量等方面知识由此深入。

• 6、递归神经网络

该博客讲的RNN是非常棒的系列，不可不读。

• 7、keras框架

keras框架是基于theano的上层框架，容易快速出原型，网站中提供的大量实例也是非常难得的研究资料。

• 8、深度学习和NLP

该教程是第5部分的补充，理论讲的不多，theano和keras代码讲的很多，附带的代码笔记很有参考价值。

• 9、机器学习教程

牛津大学的机器学习课程，讲到了大量深度学习和强化学习的内容，适合于复习过一遍。

• 10、搭建硬件平台

到这里，你的理论和代码功力应该差不多入门了，可以组个GPU机器来大干一场了。可以参考笔者这个博客来攒个机器。

• 11、去kaggle实战玩玩吧

厂商

• Deep Learning AMI

培训

• 网易云课堂deeplearning.ai课程

成为深度学习工程师的第一步

图集

• 

  深度学习

• 

  机器学习和深度学习

• 

  深度学习模型

• 

  输入输出流

• 

  工业应用

• 

  Facebook Big Sur

链接

• Berkeley Vision and Learning Center
• Geoffrey E. Hinton 深度学习之父，效力Google
• 深度学习界的泰斗Yann LeCun，卷积神经网络之父，Facebook AI 研究院负责人
• Andrew Ng（吴恩达）加入百度负责深度学习研究院
• Deep Learning
• A Matlab toolbox for Deep Learning
• UFLDL-斯坦福大学Andrew Ng Deep Learning 教程，中文教程由@邓侃 博士组织翻译。
• 斯坦福大学深度学习与自然语言处理第一讲：引言
• 斯坦福大学深度学习与自然语言处理第二讲：词向量
• 斯坦福大学深度学习与自然语言处理第三讲：高级的词向量表示
• 微软深度学习人工智能超越Google Brain Adam 运行了 ImageNet 22K 的深度学习测评软件，Andrew Ng 说：“这是一种激进的策略，但是我知道为什么它会节省计算力，这种方法不错，很有趣。
• 100 Best GitHub: Deep Learning
• Deep learning 开放文档
• 复旦大学 吴立德教授 《深度学习课程》视频
• Deep Learning Libraries by Language
• NVIDIA GPUs - The Engine of Deep Learning
• NVIDIA Deep Learning Course: Class #1 – Introduction to Deep Learning
• NVIDIA Deep Learning Course: Class #2 – Getting Started with DIGITS
• NVIDIA Deep Learning Course: Class #3 – Getting started with Caffe
• Introduction to Deep Learning with Python
• 各种编程语言的深度学习库整理: Python、Matlab、CPP、Java、JavaScript、Lua、Julia、Lisp、Haskell、.NET、R等语言
• Awesome Deep Vision
• 我爱计算机
• 基于Hadoop集群的大规模分布式深度学习
• 深度学习-LeCun、Bengio和Hinton的联合综述
• 深度学习的最新进展及诺亚方舟实验室的研究
• 深度学习三十年创新路
• Yoshua Bengio等大神传授：26条深度学习经验