【新智元导读】新智元以前也译介过 Carlos E. Perez 关于深度学习的文章。这次我们要介绍的是他最新制作的“深度学习路线图”。

　　Perez 发现，他跟踪研究深度学习好几年，发现还没有人制作过一个地图将事情的发展脉络梳理出来。于是，他很快自己动手做了一份。

　　需要指出的是，这只是一份非常初级的地图，有很多关键概念和思想都没有纳入进来。不过，就像 Perez 自己说的那样，这只是个开始，希望有更多人站出来继续扩充这份地图。

　　据 Perez 介绍，他的这份地图里，无监督学习的部分来自苹果 AI 负责人、CMU 教授 Russ Salakhutdinov 的演讲。强化学习的部分则来自 OpenAI 研究科学家、伯克利教授 Pieter Abbeel 的演讲。

　　深度学习发展日新月异，地图中标记出来的概念还有很多的衍生，atv，这次尚未没有收录。此外，图中已有概念之间的关系也没有全部标出，例如，卷积神经网络（CNN）可以用于值迭代（Value Iteration），对抗生成网络（GAN）和变分自编码器（VAE）也可以使用深度学习框架。

　　金字塔的顶部：元学习、模块化深度学习、市场调节

　　首先，在更高级的层面，Perez 认为存在这样的关系：

　　元学习（Meta Learning）、模块化的深度学习（Modular Deep Learning）和由市场所驱动的调整（Market Driven Coordination）三者之间，彼此相互影响。

　　这一点很好理解，模块化的深度学习类似算法，新智元在一文里报道过，Gartner 分析认为，算法将形成一个全球性的交易市场，世界各地的研究人员、工程师都能在这个市场上创造、分享乃至合成大规模的新算法。届时，算法也将变得像集装箱一样，能够任意组和扩展，从而搭建适用于不同应用的架构。就像当年的 App 经济，算法经济也将催生出全新一代的专业技术初创企业，并且革新机器与机器之间的交互方式——当然，直播，这些都离不开市场的调节。

　　而元学习（Meta Learning）也就是让机器学会学习（learning to learn）。元学习的发展会影响深度学习的发展（反之亦然），同时也与应用需求密切相关。

　　在上个月谷歌大脑负责人 Jeff Dean 在 UCSB 做了题为《通过大规模深度学习构建智能系统》的演讲，其中就提到谷歌大脑最近的一个研究热点是自主机器学习，也即让机器学会学习。Jeff Dean 表示，目前人工智能领域解决问题所需的就是机器学习技术、计算和数据，我们能否减少对这种技术本身的需求呢？他认为是可能的。“自动机器学习”这个方向正是他来到的谷歌大脑团队正在积极探索的、最有希望的领域之一。”

　　接下来，在 Perez 的路线图中，无监督学习（Unsupervised Learning）属于元学习，而强化学习（Reinforcement Learning）则是由市场调节驱动的。

　　下面就是 Carlos E. Perez 根据他的理解画出的深度学习路线图。

　　图上文字太小看不清？

　　没关系，下面我们来看局部图：

　　监督学习→优化算法

　　从模块化深度学习发展出来的第一部分就是监督学习（Supervised Learning），而在监督学习中会用到各种优化算法（Optimization Algorithm），优化算法有很多，最常见的一个就是随机梯度下降（SGD），其他还有二阶算法、不含梯度的算法。

　　值得注意的是，Perez 将“自主学习”（Learning to Learn）也算作优化算法的一种——当然，机器/神经系统自我完善也算是优化吧。

　　监督学习→目标函数

　　依然是从模块化深度学习出来到监督学习，监督学习的另一个分支是各种目标函数（Objective Function），包括 EMD、KL 散度和基于能量的模型（Energy Based Model）。

　　监督学习→各种层