Xnor.ai 的一系列举措不禁让人联想到去年大火的 Prisma APP 离线版的上架以及新一代智能手表操作系统 Andriod Wear 2.0 的发布。这些都是在移动端实现深度学习的经典产品实例,而这些技术成果与研发产品都验证了 Facebook 对未来十年的重点研发战略领域的远见卓识——连接世界、普及网络;人工智能;虚拟现实和增强现实。 除此之外,去年年底 Facebook 发布的 Caffe2Go 也是可以嵌入、部署于移动设备的深度学习框架,具有规模小、训练速度快、对计算机性能要求低等性能。其精华在于 Facebook 硬件优化工程师和算法专家(以贾扬清为代表)做了大量的针对性能上的优化,才使 Caffe2Go 可以顺利部署于手机上。类似的还有 Google 发布于 Github 上的 TensorFlow android camera demo,在这里,Google 将较为复杂的 inception v3 图片分类网络模型进行量化压缩减小 4 倍左右,然后部署于安卓手机上,也可以完成手机端的物体识别、行人检测等任务。虽然这些优化似乎更多是工程意义上的,而不是算法本身具备创新性,但是这些互联网巨头公司的行动无疑会带给我们一些启示:将深度学习框架部署于移动端是未来的一个主流发展趋势。 目前,深度学习框架的开发及优化发展迅速,种类也不少,不过,可以支持移动端的框架还是相对少数的,到底哪种框架是部署于移动端的最佳选择,这还有待于考证。相较于 TensorFlow 这种比较复杂的主流深度学习框架,MXNET 作为一种十分灵活、对内存要求较少的深度开源框架也被业界看好,而且它本身就提供了对多种移动端的支持。 去年 6 月,国内 Face++推出了关于 DoReFa-Net 算法的文章 ( DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth Gradients)。DoReLa-Net 对比例因子的设计更为简单,这里并没有针对卷积层输出的每一个过滤映射计算比例因子,而是对卷积层的整体输出计算一个均值常量作为比例因子。这样的做法可以简化反向运算,因为在他们反向计算时也要实现量化。DoReLa-Net 的贡献在于提供了不同量化因子的实验结果,即 2,4,8,16,32 bit 的权重、激活函数量化,同时在后向反馈中也实现了梯度的量化。对于梯度二值化问题,XNOR-Net 中只提出了理论的计算方法,未实现 4~16 bit 的量化实验,也没有在反向梯度计算中使用二值运算。在 SVHN 和 ImageNet 上的实验都可以说明 DoReFa-Net 在有效地应用于 CPU,FPGA,ASIC 和 GPU 上,具有很大的潜力和可行性。但是 DoReLa-Net 并没有使用 xnor 和 popcount 运算,因此实验结果只具备精度参考价值,没有任何加速的效果。 人工智能现如今已渗透在医疗、安防、车辆交通、教育等方方面面的领域,将 AI 技术移植到普罗大众的便携式生活中成为必然,未来更多致力于实现神经网络嵌入于移动端的产品将会应运而生,例如,车辆上的导航设施、游戏的手机客户端以及各种各样的手机 APP。这一方面是源于,在移动端实现人工智能十分方便、便携,它可以随时随地满足人们的各种需求;另一方面,在离线的情况下,数据无需上传下传,atv,降低了信息传递时间,同时还能增强用户隐私空间。人们有意愿、有需求直接把 AI 掌控在自己手中,从而达到进一步改善生活品质,甚至于改变生活方式的目的。 同时,从工业发展的角度,人工智能移动端的推行也势在必行。工业机器人、家居机器人等工业化产品也需要依托于具有可移植功能的嵌入式芯片。在硬件条件的发展限制了深度学习运行速度的时候,软件算法技术改进将会不断革新,在这个革新过程中,终端设备智能化已经初见曙光。 然而,在此过程中,还有一些有待于攻克的瓶颈和存在的问题。比如,如何改善二值神经网络模型在大规模数据库上的表现存在不足的问题;如何对现有的二值化网络算法进行精度和速度上的优化;而进行二值化的网络模型相比于全精度的网络,存在的信息损失这个缺陷,是否可以被三值网络来弥补;还有一个在工业领域十分重要的问题,如何将理论算法高效地落地,甚至是否可以开发出具备落地性的网络模型或是框架。这些问题都将是未来研发人员的关注焦点和研究方向。 到底 xnor.ai 是否会在人工智能领域掀起一场腥风血雨,我们让时间来解答这个问题。 ©本文为机器之心原创,转载请联系本公众号获得授权。 ?------------------------------------------------ 加入机器之心(全职记者/实习生):[email protected] 投稿或寻求报道:[email protected] 广告&商务合作:[email protected] (责任编辑:本港台直播) |