|
2017-07-10 22:03来源:机器人圈 图：pixabay 「机器人圈」导览：深度学习随着AlphaGo大胜李世石之后被“神话”，很多人认为深度学习就是挑战人类智力的“神器”。可是，深度学习真的如他们想象的那般“战无不胜”吗？本文编译自hyperparameter.space，作者是Pablo Cordero，就读于加利福尼亚大学圣克鲁斯校区，主攻方向为细胞生物学和再生医学背景下的应用机器学习研究。阅读此文后，你便能够从深层理解，为什么深度学习其实并不像普通百姓想象的那般“神”了，甚至，你还会发现它有时还有些“笨”。 我知道以一种较为消极的态度来作为博客的开头是很奇怪的方式，但是在过去几天里有一波讨论，我认为这是关于我最近一直在思考的话题一个很好的切入点。这一切都从Jeff Leek在Simply Stats博客中发表了一篇关于在小样本规模体系中使用深度学习的注意事项开始的。总之，他认为，当样本量很小（这在生物领域频繁发生）时，即使有一些层和隐藏单元，具有较少参数的线性模型的表现是优于深度网络的。他还表示，当在一个使用仅仅80个样本的MNIST数据集中进行0和1的分类时，一个具有十大最具特征值的非常简单的线性预测器的表现要比一个简单的深度网络好得多。这促使Andrew beam写出一篇文章来反驳，一个适当训练的深度网络能够击败简单的线性模型，即使是很少的训练样本。现如今频繁出现的是，越来越多的生物医学信息学研究人员正在使用深度学习来解决各种问题。这种肆无忌惮的宣传是真的有效吗？或者说这种线性模型是我们所需要的吗？答案一如既往的是——这取决于先决条件。在这篇文章中，我想探索机器学习中的使用案例，实际上，深度学习并不是真正意义上对所有应用都有效，同时探索出我认为可以使得深度学习得到有效使用的解决想法，特别是针对新来者。 打破深度学习之偏见 首先，我们要剔除一些先入为主的偏见，很多圈外的人们还处于一知半解的状态。有两个广泛的认知点，而我将要对这个更为技术性的做一个详细说明。这有点像是对Andrew Beam在他的帖子中所完美地阐述的“误解”部分的延伸。 深层学习确实可以在小样本的情况下进行 深度学习是随着大数据的背景下产生的（请牢记，第一个Google大脑项目正在向深度网络提供大量YouTube视频），并自此不断地被宣称运行在大量数据中的复杂算法。不幸的是，这个大数据/深度学习对不知为何也被误解：在小样本条件下不能使用的虚构体。如果你只有几个样本，在一个具有高样本参数比例的神经网络中进行开发，看起来似乎会出现过度拟合。然而，仅仅考虑给定问题的样本容量和维度，无论是监督还是无监督，都几乎是在真空中对数据进行建模的，而无需任何背景。可能的情况是，你拥有与你问题相关的数据源，或者该领域专家可以提供强有力的数据源，或者数据可以以非常特殊的方式进行构建（例如，以图形或图像编码的方式进行）。在所有这些情况下，深度学习有机会成为一种可供选择的方法——例如，你可以编码较大的相关数据集的有用表示，并将其应用于你的问题中。这种经典的示例常见于自然语言处理，atv直播，你可以学习大型语料库中嵌入的词语，然后将它们作为一个较小的、较窄的语料库嵌入到一个监督的任务中。在极端情况下，你可以拥有一套神经网络，共同学习一种表示方式，并在小型样本中重用该表示的有效方式。这被称为一次性学习（one-shot learning），并已经成功应用于包括计算机视觉和药物发现在内的高维数据的许多领域当中。 药物发现中的一次性学习神经网络，摘自Altae-Tran et al. ACS Cent. Sci. 2017 深度学习不是一切的答案 (责任编辑：本港台直播) |