本港台开奖现场直播 j2开奖直播报码现场
当前位置: 新闻频道 > IT新闻 >

wzatv:Geoffrey Hinton多伦多大学演讲:卷积神经网络的问(2)

时间:2017-08-21 00:06来源:本港台现场报码 作者:118KJ 点击:
我们举一个实例来说明关于池化的第一个争论。四面体拼图是一个很好的例子,它证明人类本自具有的坐标框的强大力量。如何把一个实心的四面体用平面

我们举一个实例来说明关于池化的第一个争论。四面体拼图是一个很好的例子,它证明人类本自具有的坐标框的强大力量。如何把一个实心的四面体用平面切成两半呢?再把切成两半的四面体重新拼成一个完整的四面体有多难呢?对于绝大多数人来说,几分钟就可以搞定。证明内在坐标框的实例还有不少,比如心理旋转(mental rotation)。

wzatv:Geoffrey Hinton多伦多大学演讲:卷积神经网络的问

第二个争论是关于均等性与不变性。卷积神经网路尝试通过结合池中的活动来使神经活动对视图(viewpoint)的小变化保持不变。不过这是一个错误的目标,其动机基于以下事实:最后的标签需要是视图不变的。

所以,最好是以均等性为目标,视图中的变化导致了神经活动中的相应变化。在知觉系统中,编视图不变性知识的是权重而不是神经活动。

wzatv:Geoffrey Hinton多伦多大学演讲:卷积神经网络的问

均等性有两种,一种是按位置编码的均等性(「place-coded」equivariance),一种是按速率编码的均等性(「rate-coded」equivariance)。前者是指如果一个低级的部分移动到一个非常不同的位置,它将被一个非常不同的 capsule 被表征;后者是指如果一个部分移动了较短距离,它将由相同的 capsule 被表征,但是 capsule 的姿态输出将被改变。跟高级的 capsule 有更大的域,因此低级的按位置编码的均等性将会转化为高级的按速率编码的均等性。

wzatv:Geoffrey Hinton多伦多大学演讲:卷积神经网络的问

第三个争论是关于将图形识别推算到非常不同的视图。当前的神经网络的理念是从不同的视图中学习不同的模型,不过这需要大量的训练数据。还存在一种更好的办法:具有相同的刚性图形的图像流形在像素强度空间中是高度非线性的。我们可以转换到一个流形全部是线性的空间。这使得大量的推断成为了可能。

wzatv:Geoffrey Hinton多伦多大学演讲:卷积神经网络的问

我们可以通过计算图使用的全局线性流形来泛化视图。图编程使用分级模型,其中空间结构通过矩阵建模,这些矩阵表征从嵌入整体的坐标框到嵌入每一部分的坐标框的转换。这些矩阵不是全部视图不变的。这一表征使得从一个部分与摄像头的关系中计算一个整体与摄像头之间的关系变的容易起来。这仅仅是一个矩阵相乘!

(责任编辑:本港台直播)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
栏目列表
推荐内容