技术指导：杨浩进

在这个时代，人类生活离不开智能设备。无论是随身携带的手机，还是腕上的智能手表，都与人工智能息息相关。同时，人类的生活方式也在不断化繁为简，现代人出行只需带上一只手机，便可以有效解决社交沟通、交易支付、出行交通等一系列问题。随着社会便携化、智能化的发展需求，在移动端实现人工智能也已经成为大势所趋。然而，人工智能的实现可能不仅需要在硬件配备方面进行大量投入，还需要大型数据中心的支撑。那么，如何在移动端建立可以遍布人类生活的 AI 技术力量呢？

2017 年 2 月 2 日，位于美国西雅图的 AI 创业公司 xnor.ai 宣布获得来自麦德罗纳风险投资集团（Madrona Venture Group）和艾伦人工智能研究所（Allen Institute for Artificial Intelligence）的 260 万美元的种子融资。这个平台致力于开发不依赖于数据中心或互联网连接的，可以直接有效地在移动端或嵌入式设备（例如手机、无人驾驶车辆等）上运行的深度学习模型。

Xnor.ai 平台的这项针对移动端部署深度学习研发技术，无论是从响应性、速度还是可靠性上来说，都可以达到前所未有的水平。而且，由于数据全部存储于移动端设备上，个人隐私可以得到高水平保障。例如，就物体检测的性能而言，业界完全可以把这项技术应用于手机上，实现物体的实时检测。

事实上，xnor.ai 团队就曾将 XNOR-Net 部署在价值 5 美元的 Raspberry Pi Zero 上，通过连接一个摄像头实现了实时视频分析，这段网站上的 demo 展示出的实时检测分析效果十分引人注意，给人很强的视觉冲击力。如果在类似于 Raspberry Pi Zero 这样的移动设备上都能进行对枪支和刀具的实时监测并及时报警，那么人们完全可以利用这项技术针对性地开发出更多 AI 安防产品，拓展 AI 安防领域，更不用说这项技术在其他领域中潜在的巨大商业价值。

众所周知，深度学习模型大量的矩阵运算使 GPU 加速成了必不可少的硬件支持，这使得深度网络难以在运算资源有限的移动设备上面实现。那么，xnor.ai 又是如何将深度网络部署于移动端的呢？在这里，不得不提到二值神经网络这个概念。

随着对神经网络研究深度不断推进，学界研究人员发现传统的神经网络对计算成本和内存容量要求较高，而二值化则可以有效地改善这些问题。二值化网络不仅有助于减小模型的存储大小，节省存储容量，而且能加快运算速度，降低计算成本。

2015 年 11 月，来自于 Yoshua Bengio 教授带领的加拿大蒙特利尔大学实验室团队的 Matthie Courbariaux 发表了关于二值神经网络 BinaryConnect 的相关论文（BinaryConnect：Training Deep Learing Neural Networks with binary weight during propagations），引起了广泛关注，j2直播，开启了崭新的二值化网络时代。论文中提出了 BinaryConnect 算法的关键在于仅在前向传播和反向传播中对权重进行二值化 1 或-1，而在参数更新过程保持权重的全精度（即仍为浮点数），这样的做法可以省去接近三分之二的矩阵运算，训练时间和内存空间都得到了大幅度优化，同时，BinaryConnect 在 MNISIST,CIFAR-10 和 SVHN 图像分类数据集上的实验效果可以达到当时世界领先水平。

在此基础上，Matthieu 和 Itay 随后联合发表的论文（Binarized Neural Networks：Training Networks with Weights and Activations Constrained to +1 or -1）提出了更完善的网络模型——BinaryNet，将权值和隐藏层激活值同时进行二值化，并利用 xnorcount 和 popcount 运算操作代替网络中传统的算术运算。这个算法在常用图像数据集上的模型二值化实验也比较成功，可以减少约 60% 的计算复杂度，甚至可以在保证分类准确率的情况下，减少七倍的 GPU 运行时间。同时，实验团队也公开了在 CUDA、Theano 以及 Torch 上的代码，不过很可惜的是，这个算法并没有在如 ImageNet 的大数据集上证明精度是否可以维持。在尽可能减小模型准确率损失的情况下，BinaryNet 的出现通过缩减模型大小，简化运算难度对算法进行加速。这使得深度网络部署于移动端的前景初见曙光。

值得一提的是，随着神经网络技术的蓬勃发展，许多教授、学者投身工业界，像 Matthie Courbariaux 现已投身 Google，并负责在 TensorFlow 框架中实现对深度模型的量化任务。不同于 Matthie 在论文中的二值化概念 (即不丢失模型准确率，只压缩模型大小), 实际投入应用的量化更适合被理解为离散化。一般来说，在训练神经网络的时候，要对权重做一些微小的调整，而这些微小的调整需要浮点精度才能正常工作，而低精度计算会被网络当做一种噪声。深度网络的一个奇妙之处就在于它可以很好地应对输入噪音，因为网络可以把低精度计算当做一种噪声，这使得量化后的网络在具备较少信息的数值格式下，仍能产生精确的结果。