本港台开奖现场直播 j2开奖直播报码现场
当前位置: 新闻频道 > IT新闻 >

wzatv:Geoffrey Hinton多伦多大学演讲:卷积神经网络的问

时间:2017-08-21 00:06来源:本港台现场报码 作者:118KJ 点击:
资源 | Geoffrey Hinton多伦多大学演讲:卷积神经网络的问题与对策 2017-08-20 14:06 来源:机器之心 原标题:资源 | Geoffrey Hinton多伦多大学演讲:卷积神经网络的问题与对策 选自Youtube 参与:

资源 | Geoffrey Hinton多伦多大学演讲卷积神经网络的问题与对策

2017-08-20 14:06 来源:机器之心

原标题:资源 | Geoffrey Hinton多伦多大学演讲卷积神经网络的问题与对策

选自Youtube

参与:黄小天

近日,神经网络之父 Geoffrey Hinton 又奉献了一次精彩的深度学习演讲,地点在多伦多大学,主题是《What is wrong with convolutional neural nets?》。在演讲中,Hinton 指出,当前的卷积神经网络存在的一个主要是问题是结构层次过于简单,只有神经元、层、网络三个层级;同时 Hinton 也给出了相应的对策,j2直播,即 capsule,其灵感来自迷你列。机器之心对演讲内容作了扼要介绍,详细内容请见文中的视频。

神经网络之父、深度学习鼻祖 Geoffrey Hinton 这次在加拿大多伦多大学的演讲主题为《卷积神经网络存在哪些问题?(What is wrong with convolutional neural nets?)》。

wzatv:Geoffrey Hinton多伦多大学演讲:卷积神经网络的问

在 Hinton 看来,时下流行的「标准」神经网络存在如下问题:

神经网络的结构层次过于简单

只有神经元、层、网络三个层级

我们需要把每一层的神经元组织成「capsules」(胶囊),capsule 可做大量的内部计算,接着输出一个压缩的结果

capsule 的灵感来自于迷你列(mini-column)

wzatv:Geoffrey Hinton多伦多大学演讲:卷积神经网络的问

那么,capsule 所表征的是什么呢?其包含三个方面的内容:

每个 capsule 表征其检测类型的多维实体的存在和实例化参数。

比如,在视觉路径中,capsule 检测物体或部分物体的特定类型。

capsule 输出两样东西:

所属类型的物体存在的概率。

物体的广义姿态,比如位置、方向、大小、形变、速率、颜色等。

wzatv:Geoffrey Hinton多伦多大学演讲:卷积神经网络的问

capsule 的作用是过滤巧合:

一个典型的 capsule 接收下一层 capsule 的多维预测向量,并寻找一个紧密的预测集群。

如果它找到了这个紧密集群,就会输出:

其类型实体存在于该领域的一个很高的概率。

集群引力的中心即是那个实体的广义姿态。

这非常擅长过滤噪音,因为高维度巧合并不会偶然发生。

capsule 要好于通常的「神经元」。

wzatv:Geoffrey Hinton多伦多大学演讲:卷积神经网络的问

那么现在,包括 Yann LeCun 和绝大多数人在内,他们是如何使用卷积神经网络进行物体识别的呢?

卷积网络使用多层的学习特征检测器。(好)

卷积网络中,特征检测器是本地的,并且每种类型的检测器可在空间中复制。(好)

卷积网络中,特征检测器的空间域在更高的层中变的更大。(好)

特征提取层与子采样层相交错,后者池化了同一类型中相近的特征检测器的输出。(差)

wzatv:Geoffrey Hinton多伦多大学演讲:卷积神经网络的问

上面讲到,我们结合了复制的特征检测器的输出,为什么这样做:

1. 池化为每一层级带来了少量的平移不变性。

最活跃的特征检测器的精确定位已被抛弃。

如果池之间重合太多,atv直播,或者特征编了其他特征(Ullman)的相对位置,也许这没什么问题。

2. 池化减少了特征提取的下一层的输入数量。

这允许我们在下一层有更多的特征类型(带有更大的域)。

wzatv:Geoffrey Hinton多伦多大学演讲:卷积神经网络的问

当前的卷积网络具有什么样的感知(percept)呢?

深度卷积网络最后一个隐藏层中的激励值是一个感知。

感知包含图像中很多物体的有关信息。

但是,物体之间的关系呢?卷积网络并没有对关系进行训练。

让我们在此先试着提出这一问题,也许人工认知科学可以解答。

把感知映射到一个深度卷积神经网络的初始隐藏层,并训练 RNN 输出注解(无需再训练卷积网络)。

wzatv:Geoffrey Hinton多伦多大学演讲:卷积神经网络的问

下面,我们接着看一下池化;目前关系池化,存在四个主要的争论:

池化与图形感知心理学不切合。它并没有解释为什么人类内在的坐标框可适用于物体,并如此有效。

池化解决了错误的问题。我们想要的是均等性而不是不变性,是解开而不是丢弃。

池化未能利用潜在的线性结构。它没有利用可完美处理图像中最大变动来源的自然线性流形。

池化很不擅长处理动态路由选择。我们需要把输入的每一部分路由到知道如何处理它的神经元。发现最佳的选路等同于解析图像。

wzatv:Geoffrey Hinton多伦多大学演讲:卷积神经网络的问

(责任编辑:本港台直播)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
栏目列表
推荐内容