欢迎大家赞助一杯啤酒🍺 我们准备了下酒菜:Formal mathematics/Isabelle/ML, Formal verification/Coq/ACL2, C++/F#/Lisp
Deep learning
小 (→培训) |
小 (→项目) |
||
(未显示1个用户的15个中间版本) | |||
第6行: | 第6行: | ||
==简介== | ==简介== | ||
+ | 提出深度置信网络(Deep Belief Networks,DBN) 的 2006 年视作机器学习领域中的深度学习元年。 | ||
==10大架构== | ==10大架构== | ||
第21行: | 第22行: | ||
==项目== | ==项目== | ||
+ | [[文件:apache-tvm-logo.png|right|Apache TVM]] | ||
*[https://github.com/ChristosChristofidis/awesome-deep-learning Awesome Deep Learning] [[image:awesome.png]] | *[https://github.com/ChristosChristofidis/awesome-deep-learning Awesome Deep Learning] [[image:awesome.png]] | ||
*[https://blog.openai.com/infrastructure-for-deep-learning/ Infrastructure for Deep Learning] | *[https://blog.openai.com/infrastructure-for-deep-learning/ Infrastructure for Deep Learning] | ||
第26行: | 第28行: | ||
*[[Deeplearning4j]], [http://deeplearning4j.org/glossary 深度学习词汇表] | *[[Deeplearning4j]], [http://deeplearning4j.org/glossary 深度学习词汇表] | ||
*[[Apache SINGA]] | *[[Apache SINGA]] | ||
+ | *[https://github.com/apache/tvm Apache TVM] | ||
*[[H2O]] | *[[H2O]] | ||
*[[Caffe]] | *[[Caffe]] | ||
第45行: | 第48行: | ||
==图书== | ==图书== | ||
− | *[http://book.huihoo.com/deep-learning/ 《Deep Learning》] | + | *[http://book.huihoo.com/deep-learning/ 《Deep Learning》] [https://www.amazon.cn/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0-%E4%BC%8A%E6%81%A9-%E5%8F%A4%E5%BE%B7%E8%B4%B9%E6%B4%9B/dp/B073LWHBBY/ 《深度学习(deep learning)》 ]深度学习领域目前最经典的图书,没有之一。[https://github.com/exacity/deeplearningbook-chinese 在GitHub上阅读Deep Learning中文翻译或下载本书] |
==文档== | ==文档== | ||
第117行: | 第120行: | ||
==培训== | ==培训== | ||
− | *[https:// | + | *[https://study.163.com/topics/deepLearning/ 网易云课堂deeplearning.ai免费课程] |
− | + | *[https://stanford.edu/~shervine/teaching/cs-230/ CS 230 ― Deep Learning] | |
− | [[ | + | *[https://github.com/d2l-ai/d2l-zh 《动手学深度学习》] |
==图集== | ==图集== | ||
<gallery> | <gallery> | ||
+ | image:Neural-Network-and-Deep-Learning.png|神经网络与深度学习 | ||
image:deep-learning-and-ai.png|深度学习 | image:deep-learning-and-ai.png|深度学习 | ||
image:machine-learning-vs-deep-learning.png|机器学习和深度学习 | image:machine-learning-vs-deep-learning.png|机器学习和深度学习 | ||
+ | image:probabilistic-graphical-models.png|概率图模型 | ||
+ | image:deeplearning.ai-training.png|成为深度学习工程师的第一步 | ||
image:popular-deep-learning-models.png|深度学习模型 | image:popular-deep-learning-models.png|深度学习模型 | ||
+ | image:reinforcement-learning.png|强化学习 | ||
image:deep-learning-input-output-flow.png|输入输出流 | image:deep-learning-input-output-flow.png|输入输出流 | ||
image:deep-learning-use-case-industries.png|工业应用 | image:deep-learning-use-case-industries.png|工业应用 | ||
+ | image:five-industry-applications-of-deep-learning.png|五大应用 | ||
image:facebook-big-sur-gpu-server.jpg|Facebook Big Sur | image:facebook-big-sur-gpu-server.jpg|Facebook Big Sur | ||
+ | image:tvm-stack.png|TVM | ||
+ | image:vta_stack.png|VTA | ||
</gallery> | </gallery> | ||
2022年3月11日 (五) 08:44的最后版本
您可以在Wikipedia上了解到此条目的英文信息 Deep learning Thanks, Wikipedia. |
深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。
同机器学习方法一样,深度机器学习方法也有监督学习与无监督学习之分。不同的学习框架下建立的学习模型很是不同.例如,卷积神经网络(Convolutional neural network,简称CNNs)就是一种深度的监督学习下的机器学习模型,而深度信念网络(Deep Belief Nets,简称DBNs)就是一种无监督学习下的机器学习模型。
目录 |
[编辑] 简介
提出深度置信网络(Deep Belief Networks,DBN) 的 2006 年视作机器学习领域中的深度学习元年。
[编辑] 10大架构
10 Advanced Deep Learning Architectures Data Scientists Should Know!
- 1. AlexNet
- 2. VGG Net
- 3. GoogleNet
- 4. ResNet
- 5. ResNeXt
- 6. RCNN (Region Based CNN)
- 7. YOLO (You Only Look Once)
- 8. SqueezeNet
- 9. SegNet
- 10. GAN (Generative Adversarial Network)
[编辑] 项目
- Awesome Deep Learning
- Infrastructure for Deep Learning
- Top 10 Deep Learning Projects on Github
- Deeplearning4j, 深度学习词汇表
- Apache SINGA
- Apache TVM
- H2O
- Caffe
- Torch
- PyTorch
- theano
- TensorFlow
- MXNet
- Amazon DSSTNE
- keras
- 雅虎CaffeOnSpark, 雅虎如何在Hadoop集群上实现大规模分布式深度学习
- PaddlePaddle 百度warp-ctc
- mocha.jl
- JavaNN
- Emergent
- cuDNN
- fbcunn Deep Learning CUDA Extensions from Facebook AI Research.
- TinyFlow Build Your Own DL System in 2K Lines
[编辑] 图书
- 《Deep Learning》 《深度学习(deep learning)》 深度学习领域目前最经典的图书,没有之一。在GitHub上阅读Deep Learning中文翻译或下载本书
[编辑] 文档
- Deep Learning Tutorial, ICML, Atlanta, 2013-06-16 Yann LeCun编写,200页幻灯片。
- 微软AI首席科学家邓力:深度学习技术及趋势报告
- Learning Deep Architectures for AI, Learning Deep Architectures for AI 中文版
- Deep Learning: Deep Boltzmann Machines
- 神经网络与深度学习-幻灯片
- 神经网络与深度学习-讲义
- Deep Learning Methods and Applications
- The Applications of Deep Learning on Traffic Identification
- Deep Learning on Disassembly Data 反汇编数据深度学习
- Deep Learning Tutorial Release 0.1、在线版、GitHub
- A Tutorial on Deep Learning
- 记忆、阅读与理解 (深度学习 & NLP)
- Seeing People with Deep Learning
- Deep Learning with Python
[编辑] 论文
- 1、无穷维度的词向量 Infinite Dimensional Word Embeddings
- 2、利用可逆学习进行基于梯度的超参数优化 Gradient-based Hyperparameter Optimization through Reversible Learning
- 3、在线加速学习 Speed Learning on the Fly
- 4、空间变换网络 Spatial Transformer Networks
- 5、聚类对于近似最大内积搜索来说是高效的 Clustering is Efficient for Approximate Maximum Inner Product Search
- 6、在线无回溯训练递归神经网络 Training Recurrent Networks Online without Backtracking
- 7、利用梯形网络进行半监督式学习 Semi-Supervised Learning with Ladder Network
- 8、通往基于神经网络的推理 Towards Neural Network-Based Reasoning
- 9、对递归神经网络序列预测的定期采样 Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks
- 10、LSTM:漫游搜索 LSTM: A Search Space Odyssey
[编辑] 入门资源索引
深度学习(Deep Learning)属于非常前沿的学科,没有现成的的综合型教材,主要是通过阅读大量论文和代码练习来学习。值得读的经典论文很多,下面介绍的一些教程中多少都有提及,另外就是去google重要文献。代码方面推荐使用python为基础的theano框架,因为它比较偏底层,可以从细节掌握如何构建一个深度学习模块,而且方便结合python在数据领域的其它积累,例如numpy。当然到了生产环境你可以再考虑torch之类的框架。从代码角度切入学习的好处是,理解起来不会像理论切入那么枯燥,可以很快做起一个好玩的东西。当然,最后你还是得补充理论的。下面精选介绍一些本人在学习时遇到的好教程。
- 1、入门首选
该站提供了一系列的theano代码示范,通过研究模仿,就可以学会包括NN/DBN/CNN/RNN在内的大部分主流技术。其中也有很多文献连接以供参考。
- 2、BP神经网络
第1部分的教程中,神经网格的参数是theano自动求导的,如果想深入了解细节,还得手动推导加代码实现一遍。该教程对BP神经网络的理论细节讲的非常好。
- 3、理论补充
该书内容比较广泛,虽未最终完成,但已初见气象。用来完善理论知识是再好不过。
前面三部分相当于导论,比较宽泛一些,该教程则是专注于卷积神经网络在图像视觉领域的运用,CNN方面知识由此深入。
本教程则偏重于深度学习在自然语言处理领域的运用,词向量等方面知识由此深入。
- 6、递归神经网络
该博客讲的RNN是非常棒的系列,不可不读。
- 7、keras框架
keras框架是基于theano的上层框架,容易快速出原型,网站中提供的大量实例也是非常难得的研究资料。
- 8、深度学习和NLP
该教程是第5部分的补充,理论讲的不多,theano和keras代码讲的很多,附带的代码笔记很有参考价值。
- 9、机器学习教程
牛津大学的机器学习课程,讲到了大量深度学习和强化学习的内容,适合于复习过一遍。
- 10、搭建硬件平台
到这里,你的理论和代码功力应该差不多入门了,可以组个GPU机器来大干一场了。可以参考笔者这个博客来攒个机器。
- 11、去kaggle实战玩玩吧
[编辑] 厂商
[编辑] 培训
[编辑] 图集
[编辑] 链接
- Berkeley Vision and Learning Center
- Geoffrey E. Hinton 深度学习之父,效力Google
- 深度学习界的泰斗Yann LeCun,卷积神经网络之父,Facebook AI 研究院负责人
- Andrew Ng(吴恩达)加入百度负责深度学习研究院
- Deep Learning
- A Matlab toolbox for Deep Learning
- UFLDL-斯坦福大学Andrew Ng Deep Learning 教程,中文教程由@邓侃 博士组织翻译。
- 斯坦福大学深度学习与自然语言处理第一讲:引言
- 斯坦福大学深度学习与自然语言处理第二讲:词向量
- 斯坦福大学深度学习与自然语言处理第三讲:高级的词向量表示
- 微软深度学习人工智能超越Google Brain Adam 运行了 ImageNet 22K 的深度学习测评软件,Andrew Ng 说:“这是一种激进的策略,但是我知道为什么它会节省计算力,这种方法不错,很有趣。
- 100 Best GitHub: Deep Learning
- Deep learning 开放文档
- 复旦大学 吴立德教授 《深度学习课程》视频
- Deep Learning Libraries by Language
- NVIDIA GPUs - The Engine of Deep Learning
- NVIDIA Deep Learning Course: Class #1 – Introduction to Deep Learning
- NVIDIA Deep Learning Course: Class #2 – Getting Started with DIGITS
- NVIDIA Deep Learning Course: Class #3 – Getting started with Caffe
- Introduction to Deep Learning with Python
- 各种编程语言的深度学习库整理: Python、Matlab、CPP、Java、JavaScript、Lua、Julia、Lisp、Haskell、.NET、R等语言
- Awesome Deep Vision
- 我爱计算机
- 基于Hadoop集群的大规模分布式深度学习
- 深度学习-LeCun、Bengio和Hinton的联合综述
- 深度学习的最新进展及诺亚方舟实验室的研究
- 深度学习三十年创新路
- Yoshua Bengio等大神传授:26条深度学习经验