【斯坦福 CS231n 趣事】吴恩达访 Karpathy、林元庆和苹果 AI 负责人

2017-08-13 13:24 来源:新智元 程序设计 /苹果 /操作系统

原标题：【斯坦福 CS231n 趣事】吴恩达访 Karpathy、林元庆和苹果 AI 负责人

1新智元报道

作者：文强

【新智元导读】吴恩达在他的新计划深度学习系列课程 Deeplearning.ai 里，采访了 7 位深度学习领袖，结合之前整理的 Geoffrey Hinton、Yoshua Bengio、Ian Goodfellow，新智元这次为你献上 Andrej Karpathy、林元庆和苹果 AI 负责人 CMU 教授 Ruslan Salakhutdinov 的访谈。他们关于深度学习和 AI 有什么思考？更多干货，不容错过。

Andrej Karpathy：单独开发各个部分再组装是错误的，开发 AGI 应该从开始就做一个综合的系统

作为斯坦福 CS231N 的形象代言人之一，李飞飞高徒、现在特斯拉 AI 和视觉负责人，Andrj Karpathy 无疑是当前深度学习领域的另一个年轻“网红”。Karpathy 在采访中讲述了他是如何进入深度学习领域，让他感到兴奋和意外的事实，以及对学习深度学习的建议——要学好数学。

Karpathy 本科读多伦多大学，听了 Hintion 的课，知道神经网络能够像人类一样学习，觉得很神奇，那是他第一次接触深度学习。后来，他在英属哥伦比亚大学读硕士的时候了解到机器学习（ML），认为 ML 是对 AI 更技术的描述——可以说与 Ian Goodfellow 的感受十分类似——于是决定从事这个方向的 AI。

Karpathy 认为机器学习是一种新的计算范式，也是对“编程”概念的颠覆：以往是人类写代码编程，而机器学习是人类写优化算法，机器负责编程，其结果有时候还优于人类写的程序。

除了在一开始说的头衔，Karpathy 也是计算机视觉界的“世界杯”，ImageNet 竞赛中，人类基准的代言人。我们都说神经网络超越了人的水平，atv，但这个人的水平是怎么来的呢？——Karpathy 自己做的！

最初，他是在 CIFAR 10 数据集上做视觉识别和分类。那时候只有 10 个类别，因此做起来还相对容易，他把正确率做到了 94% 左右。（根据当时任务的难度，他预估能把神经网络的错误率做到大约 10%。结果，现在这个数字已经降低到 2% 到 3% 的样子。）

Karpathy 认为把人类基准做出来很重要，实际上这在一定程度上也受了吴恩达的影响。Kaparthy 认为，需要有人类表现的具体数字，才能有去和算法作比较，衡量机器做得有多好。

ImageNet 竞赛里，一方面是做好人类基准，另一方面是将算法识别和分类的精度提高，一直以来，不同的人对于这两者的重要性都有不同的看法。

在做人类基准时，Karpathy 的方法是，写了一个 UI 的 Java 脚本，列出 1000 个类别，每个类别都带有一些例子，然后看图，将这 1000 个类别从上拉到下，看这张图属于哪个类别。他会放下手头所有的事情来做这个识别，花上一两周的时间，最终得到一个数字。

后来，他觉得一个人做不够，于是在实验室里找人一起来做，但发现大多数人都不愿意——你想，两周的时间里，每天就坐在计算机前面看哪种狗是哪个类别。不过，他们最终还是设法得出了一个近似数字，能够体现人类平均水平。

Karpathy 用“fun”来形容这项工作，他说自己最初就是想知道一个数字，但 ImageNet 竞赛后来发展成为计算机视觉界的重大赛事，带来了深刻的影响，于是自己也成了 ImageNet 中“人类水平”的代名词，这实在是很搞笑（hilarious）的结果。

当神经网络的表现最终超越人，也就是超越 Karpathy 的表现时，他表示自己感到很惊讶。由于很多时候图像十分模糊，他在识别的时候会在大约 20 个种类里面猜，但神经网络一下子就知道了。神经网络是如何做到这一点的，他不得而知。

另一方面，神经网络在细微的统计数字、纹理、质地等方面十分优秀，因此从这个意义上讲，Karpathy 对于神经网络在识别和分类上面超越他并不感到意外。

说到斯坦福 CS231N 课程，Karpathy 认为计算机视觉是一项很强大的工具，他感觉自己通过教书把这项强大的工具提供给了很多人。此外，CS231N 不同的地方在于，课程内容是时刻更新的，有时候甚至会在课上讨论上周乃至昨天发表的论文。Karpathy 认为贴近最新技术这一点，也是这门课如此受欢迎的原因之一。