近日，东京大学机器智能实验室（MIL）提出了web浏览器上运行最快的DNN框架。

在Web浏览器上运行经过训练的DNN模型

现如今，深度神经网络（DNN）在许多应用中得到越来越多的关注。然而，它需要大量的计算资源，而且设置基于执行环境的硬件加速，如GPGPU，也是一项浩大的工程。因此，为终端用户提供DNN应用是非常困难的。而WebDNN通过使用Web浏览器作为无安装的DNN执行框架可以解决这个问题。该框架优化了经过训练的DNN模型，从而压缩模型数据和加快执行速度，并且它使用新颖的Java API（诸如WebAssembly和WebGPU）来执行，以实现零开销（zero-overhead）执行。而实证评估也显示，这种方法是可行的，其实现了超过200倍的加速。

特定推理阶段优化

为了实现更快的执行这一目标，优化DNN模型的计算图就显得非常重要了。DNN的执行由训练阶段和推理阶段两个阶段组成。训练阶段使用反向传播技术更新参数。推理阶段对实际任务进行预测（仅仅是正向传播）。如果框架仅关注推理阶段，开奖，那它就可以更积极地优化计算图。

WebDNN仅关注终端用户设备上推理阶段的执行，并支持积极的优化。这种优化渠道可以应用于使用各种DNN框架进行训练的模型，而不需要编辑训练代码。

下一代Java API

Java是由解释器执行的。 因此，它需要计算开销，除此之外，它还不能完全利用CPU的容量。在GPU中也是如此。现代Web浏览器是支持WebGL的，WebGL是一个使用GPU的Java API。但是，该API专为图形处理而设计的，并不适用于通用计算。此外，使用WebGL进行通用计算会产生间接成本。

而WebDNN使用下一代Java API，用于GPU执行的WebGPU和用于CPU执行的WebAssembly。所有这些API都有助于显示GPU和CPU的全部性能。

浏览器兼容性

WebDNN支持3个执行后端实现：WebGPU，WebAssembly和Fallback纯Java实现。通过使用这3个后端实现，WebDNN可以适用于所有主要的浏览器。

WebGPU后端

通过WebGPU API在GPU上进行计算。这个后端是3个后端中最快的，但目前WebGPU API仅支持于Safari Technology Preview中。

WebAssembly后端

通过WebAssembly API在CPU上进行计算。这个后端要比Keras.js的GPU模式快得多。通过与asm.js一起使用，这个后端可以适用于大多数现代浏览器。

Fallback后端

通过ECMA3在CPU进行计算。这个后端只是为了向后兼容，所以运行速度并不是那么快。

浏览器兼容性表

示例：在Safari技术预览中，默认情况下禁用WebGPUAPI。 要启用API，请参阅菜单栏中的“Develop”>“ExperimentalFeatures”>“WebGPU”。

基准测试

我们测量了VGG16和ResNet50的执行时间。下图显示了与Keras.js进行对比的结果。每个图像的计算时间以垂直轴显示为对数刻度。所有的测试都是2015年初在Mac Book Pro运行的，其配置为：英特尔内核 i5 2.7 GHz CPU、16 GB内存、Intel Iris Graphics 6100 GPU、网络浏览器是SafariTechnology Preview 30。

神经风格迁移

这个示例运行神经风格迁移模型。神经风格迁移模型给出2个输入图像，一个是内容图像，另一个是风格图像。然后，该模型基于风格图像的风格和内容图像中的内容生成图像。

我们使用的是A（https://github.com/yusuketomoto/chainer-fast-neuralstyle）中提供的chainer（https://github.com/pfnet/chainer）实现和B（https://github.com/gafr/chainer-fast-neuralstyle-models）中提供的预训练模型。预训练模型由GraphTranspiler转换成图形描述符，然后由DeorRunner执行。所有计算都是通过Web浏览器完成的，而不是由服务器完成的。

ResNet50图像分类

在这个例子中，开奖，你可以运行经ImageNet训练后的ResNet50分类模型。这里（https://github.com/KaimingHe/deep-residual-networks）提供了原始的预训练模型。同样，所有计算都是通过Web浏览器完成的，而不是由服务器完成。

了解更多信息，请点击https://mil-tokyo.github.io/webdnn/docs/