不过，讲课备课也会占去了他很多的时间，在上课期间，他基本没有做研究，因此从这个意义上说，他并不推荐博士生去上课。但是，讲课这件事本身绝对是他博士经历的亮点。

作为一个也算见证了深度学习比较长时间发展的人，Karpathy 认为令他感到意外的两件事情，一是以前认为神经网络不可能在如此大规模的图像识别中成功——这个已经被证明是错误的，另一个，或许也是更重要的一个，就是在 ImageNet 数据集上预训练的模型，经过微调后能够用于完成其他任务。

由此，他得出的一个结论是，或许人们应该一开始就开发一种综合的系统，而不是单独开发各种不同功能的系统，再将其组合起来。

Karpathy 认为未来 AI 将向两个大方向发展，一个是应用 AI，不断完善算法提升性能，另一个则是 AGI。而关于 AGI，他认为一开始分别做不同系统然后再组合的方式是错误的，人类可以做推理、计划、使用语言……这些不同的事情，或许开发神经网络也应该有个更高层的统一，是动态过程，能够与智能体全局互动。

做到这一点，Karpathy 举出了几种方法，像 Amazon Mechanical Turk 那样，使用监督学习训练，然后再扩展，或者类似 AI 演化（evolution）。实际上，Karpathy 对此已经有了比较明确的想法而且认为自己是正确的，可惜他表示不愿意在视频中透露——那我们就期待他未来的成果吧。

苹果 AI 负责人、CMU 教授Rus Salakhutdinov：博士第一年合作完成受限玻尔兹曼机论文，认为无监督学习、半监督学习接下来会有突破

Ruslan Salakhutdinov 是 CMU 教授，也是苹果 AI 负责人。他进入深度学习也是因为 Hinton。当时不知道自己博士该学什么的 Salakhutdinov 在走廊偶遇 Hinton，后者说我有一些很不错的想法啊，来我们谈一下，于是就讲了玻尔兹曼机在内的很多点子，有挺多 Salakhutdinov 当时都不太理解，不过被 Hinton 的想法震撼了。3 个月以后他就到 Hinton 那里读博士了。可以说，那一天改变了他接下来的人生。

作为受限玻尔兹曼机论文的合著者之一，Ruslan Salakhutdinov 实际上是在博士第一年把论文写出来的。他们需要预训练策略来训练多层神经网络，后来聚焦到自编码器。最初是做数字，然后做人脸特征，再后来做文件压缩，处理了不同类型的数据。最终，他们能够训练很深、很多层的自编码器，发表论文，经历了很激动人心的一年。

Salakhutdinov 说，受限玻尔兹曼机、深度玻尔兹曼机都属于生成模型，早期训练很多层的玻尔兹曼机，是因为只有这样初始化权重，才能够有效地学习，训练多层神经网络。但是，到 2009、2010 年的时候，计算力跟上来，人们发现不用这么麻烦，直接使用 BP 就能得到很好的效果。

现在看学习算法，比如 MCMC，VAE，都不能像 BP 那样有效扩展；吴恩达也做过用概率 Max pooling 构建生成模型，但是很难训练。VA 方法也可以视为一种受限玻尔兹曼机，卷积很难整合到里面去。Salakhutdinov 认为我们必须找到方法解决难扩展和难训练的问题。

现在，通过一些策略，能够在统计领域使用 BP，这方面颇有起色，值得注意。

Salakhutdinov 认为无监督学习和半监督学习是十分重要的议题，早期将无监督学习视为无监督预训练，因为当时人们不知道如何训练多层的系统。即使在今天，当拥有很多无标签数据和小部分带标签样本时，使用无监督预训练模型构建生成模型，也能有所帮助。

Salakhutdinov 建议有志从事深度学习的人选择无监督学习和半监督学习，认为这一块接下来会有突破。

此外，他认为很值得关注的还有深度强化学习，智能体与环境交互，与其他智能体交互，都是非常有趣的研究。对话系统和 NLP 也是。从这两点，似乎可以窥见苹果 AI 研究的一点点方向。

Salakhutdinov 既是 CMU 教授，又在苹果做部门主管，拥有学界和产业界双重身份和经历的他建议，不管是做应用还是做研究，放手大胆去做是最重要的。当时他研究神经网络时，神经网络是高度非凸的系统，难以优化，很多人都不看好。但是，他们没有管这么多，想着要实现怎样的结果就去做了。

再来，作为教师，他的上课时一直强调要了解代码，真正理解底层信息。他会要求学生从头实现 BP。这个过程很难，但一旦做过一次，对系统有了真正的理解，对今后帮助无穷。