林元庆：我其实跟刚才说的刚好相反，我先接触的都是 PCA、LDA 等等数学方法，然后才开始做深度学习。不过我觉得这个方式也不错，构建了很多基础、学了图模型。现在深度学习当然是主流，不过有这些知识的话，就对深度学习的运行方式有了更好的直觉。深度学习和这些基础框架之间本来也有各种联系，这些知识也会让这种联系更紧密，也让做深度学习的方式更加丰富。所以我觉得从那些强大的开源框架开始学习很好，同时我也建议学习一些机器学习的基础知识。

吴恩达：谢谢！您讲的非常精彩！我认识您这么久，但是都没有听到过您考虑问题时候的这么多细节。谢谢！

林元庆：感谢邀请！

吴恩达采访 Ian Goodfellow

Ian Goodfellow目前是谷歌大脑的研究员，也是机器学习界的大名人。他是 Yoshua Bengio 的弟子，最近 Ian Goodfellow、Yoshua Bengio、Aaron Courville三人合著的“花书”「Deep Learning」中文版「深度学习」也上市了，是领域内最优秀的教材之一。 让 Ian Goodfellow 名声鹊起的是他提出的 GANs 生成式对抗性网络，为解决生成式问题提供了革命性的思路，从提出以后一直是热门的研究课题。

吴恩达：Ian 你是全世界最出名的深度学习研究员之一，给我们讲讲你的故事吧，你是如何开始做现在的工作的？

Ian Goodfellow：嗯好的。其实我认识你的时候才接触机器学习没多久，我以前学的是神经科学，我在斯坦福读本科时候的导师鼓励我看看你的“AI入门”课程。

吴恩达：这样啊，我还是第一次听说

Ian Goodfellow：对。那时候我觉得人工智能听起来挺美的，但是实际看到它们的时候都是游戏里的那种 AI，人们提前给游戏里的NPC编好固定的规则，他们就可以根据那些脚本在不同的时间地点说不同的话。然后这样我就看了你的“AI入门”课程，你在课里讲了线性回归、线性回归误差的偏置-方差分解，我就开始意识到这是一门真正的科学，可以把 AI 作为科学事业去做，不再做神经科学了。

吴恩达：不错~ 然后呢？

Ian Goodfellow：后来我就来旁听你的课，其中有个很大的转折点是，这门课的学生里有个人是我的朋友 Ethan，他掉进 Geoff Hinton 的深度信念网络论文里出不来了（AI 科技评论注：Ian 的原话是“got arrested in Geoff Hinton's deep belief net paper”，这个用词好精彩），后来为了运行玻尔兹曼机，我们俩人就用课后时间造了一台基于CUDA GPU的计算机，是斯坦福最早的之一。那个时候我就建立起了这样的信念，未来应当是属于深度学习的。我也研究过其它的算法，比如支持向量机在很多时候感觉还是不理想，面对更多数据它会更慢，或者是对于一样的训练数据，没有什么别的参数可以调整来优化它的表现。这时候开始我就尽可能多地学习深度学习。

吴恩达：我还记得有篇很老的GPU论文，认可了很多你做的早期工作

Ian Goodfellow：对的，那些都是在我们早期的机器上完成的。第一台机器是我和Ethan两个人自己出钱在Ethan家造出来的，后来的第二台第三台就是用实验室的钱造给斯坦福实验室用的。

吴恩达：厉害啊，我还真不知道是这样的。那么到现在，让深度学习突飞猛进的重要事情之一就是你发明的GANs，你是怎么想出来的？

Ian Goodfellow：我研究生成式模型研究了好久，GANs就是一种建立生成式模型的方法，你手里有很多训练数据，然后想要创造更多类似的数据，不过是要创造全新的、从来没有以那种形式出现过的数据。在我想到GANs之前，构建生成式模型有好多热门方法，我读博士的时候对它们都做了仔细的研究，就对它们的优点缺点都非常清楚，比如玻尔兹曼机、稀疏编码等等当时几年内都很热门的方法，我就想找一个能够避开所有这些方法的缺点的新方法。后来当我和朋友在酒吧里争论的时候，终于有个灵感划过，我就说要做如何如何就行，那个朋友不相信。那时候我其实应该是正在写「深度学习」课本的，但是我特别相信这个想法肯定能行，所以我当晚就编程把它写出来，然后也真的成功了。

吴恩达：就花了一晚上就实现了GANs的第一个版本