相比于流水线／超标量复杂的修炼过程（黄蓉都练不会「左右互博」），数据级并行就是简单纯粹的叠加硬件，打造并行处理的「千手观音」：

千手观音」的学名叫做 SIMD，Single Instruction Multiple Data，单指令多数据（流）处理器。其实，说白了就是原来有处理单元（ALU/EXU）现在一个加法器，现在变成了 N 个了。对应神经网络的计算，原来要 M 次展开的乘累加，现在只要 M/N 次，atv，对应的时钟和时间都显著地降低。

简单粗暴的并行，不仅提高了让每个指令的数据吞吐率，还让本身单一的标量处理进化成阵列式的「矢量型」处理，于是就有 SIMD 又有了「矢量处理」指令的称呼。其实，SIMD 并不是到了神经网络再兴起的新玩样儿，早在 MP3 的年代，SIMD 处理器就广泛地使用在各类信号处理芯片中。所以关于 SIMD 指令也早有了需要行业标准。以下，我们就来看一个 SIMD 指令集实例。

ARM NEON，厉害了 word 令

在上一编中，我们简单提到了史上第一个攻城掠地的 RISC-ARM。为手机、平板等便携式的最重要处理器，ARM 的 SIMD 指令也是王者风范，从它的名字开始——NEON。

NEON 的指令的操作的输入（operand）是一组 128 位位宽的寄存器，但这个寄存器存着的几个数，就由码农自己去预定义了，可以是 4 个 32 位的浮点，或者定点，或者 8 个 16 位定点，或者 16 个 8 位定点……整个指令集宽泛地定义了输入、输出的位宽，供变成者自由支配，考虑到在神经网络中，前馈网络往往只要 16 位、8 位整数位宽，所以最高效的 NEON 命令可以一次实现 16 个乘累加计算（16 个 Synapse）。

仅仅是 SIMD 怎能彰显 NEON 的侠者风范？NEON 还充分应用了指令级并行，采用 10 级流水线（4 级 decode+6 级运算单元）, 可以简单地理解为把卷积计算的吞吐率由提高了 10 倍。加起来，相比与传统的单指令 5 级流水，提高至少 32 倍的效率。再辅以 ARM Cortex A7 以上的超标量核心处理单元, 筑起了第一条通用并行计算的快车道。

当神经网络遇上 SIMD，滑起吧！

流水线和 SIMD 都是在神经网络还没羽翼丰满的时候就已经称霸江湖的大侠。在神经网络不可一世的今天，这两者还是固步自封么？答案显然是否定的。

当通用 SIMD 处理器遇上神经网络，他们既碰撞出了火花，也开始相互埋怨。我们先说埋怨——存储空间管理。我们知道，在 NN 中通常每个卷积核都需要先 load 系数与输入数据，再算出部分的乘累加结果，再 store 回存储空间。而指令执行与存储空间的通信就是我们上一编讲到的——冯诺伊曼瓶颈。对于神经网络来说，如此多次的存储读写是制约性能的关键。减少数据的载入与中间结果是面向神经网络的 SIMD 指令的主要问题。

那火花是什么？在深度神经网络，特别是 CNN 中，每个卷积核——相邻状态的数据输入只更新了小部分，而大部分数据保持不变，但更换了对应系数。这就给 SIMD 带来了一个面向神经网络的新机遇——部分更新与数据滑行（sliding）。我们来看下面这张动图「原作为 MIT Eyeriss 项目研究组」。

对于一个采用 SIMD 的卷积核，有一组输入是固定——系数矢量，而另一组输入像一个 FIFO，在起始填满后，每次注入一个单元（也排出一个单元）进行乘累加，另外上一次累加的结果在保存在执行单元的寄存器内，只有最终的卷积核结果会写回到存储器中。

这样，在神经网络中，无论是数据导入、还是结果输出，起对存储空间的访问都会大大降低。当然，上述示意图仅仅是一维的。当卷积核的维度达到二三维时，情况会复杂很多。这里推荐大家可以去读读 MIT 的 Eyeriss，Kaist 的 MIMD，或者 IMEC 的 2D-SIMD（ENVISION）。这里就不太多展开了。