图 2：图片为 8×8 大小。a) 交错分区的图示，j2直播，开奖，b) 左右分区的图示。如果你希望建模图像（比如面部图像）的两边之间的复杂相关性结构，那么该网络应该支持左右分区的高纠缠测量（high entanglement measure）；如果你希望对邻近像素这样做（如自然图像），那么应该选择交错分区。在第 7 节，我们说明了这种对卷积网络的归纳偏置的控制可以如何通过适当调整每一层的通道数量来实现。

5. 张量网络和张量分解

　　图 3：张量网络（TN/Tensor Networks）的简单介绍。a) 该张量网络中的张量用节点表示，节点的度（degree）对应于由其所表示的张量的阶数。b) 用 TN 符号表示的一个矩阵乘一个张量。收缩（contracted）指数用 k 表示并且相加。开放（open）指数用 d 表示，它们的大小等于由整个网络所表示的张量的阶数。所有这些指数的值都在 1 到它们的连接维度（bond dimension）之间。收缩（contraction）用虚线标示。c) 一个更加复杂的例子——一个网络使用在稀疏互连的低阶张量上的收缩表示一个更高阶的张量。该网络是一种分解（decomposition）的简单案例，其在张量分析社区被称为张量训练（tensor train，Oseledets (2011)），而在凝聚态物理学界则被称为矩阵积态（matrix product state，参见 Orús (2014)）。

6. 一个用作张量网络的卷积网络

图 4：a) 张量网络（TN）形式的奇异值分解。Λ 节点表示一个对角矩阵、U 和 V 节点表示正交矩阵。b) 相当于 CP 分解的 TN。

　　图 5：相当于 HT 分解的 TN，其带有对应于图 1 的 ConvAC（N=8）的计算的相同通道池化方案，详见 6.2 节

　　原文链接：https://arxiv.org/abs/1704.01552v1

　　本文为机器之心编译，转载请联系本公众号获得授权。

　　?------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]