为了用实验证明所提出的激励的有效性，一个包含三个卷积层的卷积神经网络（也包括三个完全连接层——fully connected layers）在 MNIST, SVHN 和 CIFAR10 数据集上进行训练，来进行图像分类。为了克服 Tensorboard 显示内容的一些限制，我们引入了绘图库 Tensorflow Plot 来弥补 Python 绘图库和 Tensorboard 间的差距。以下是一些例子。

在 Tensorboard 上的激励值直方图

在 Tensorboard 上的激励值可视化

实现模型在三个公开的数据集上进行的训练与测试：MNIST、SVHN 和 CIFAR-10。

结果

下面我们只选择性展示了最后一个卷积层（第三层）和首个全连接层（第四层）的直方图和可视化激励值图。

SELU

卷积层

全连接层

ReLU

卷积层

全连接层

Leaky ReLU

卷积层

全连接层

相关工作

Self-Normalizing Neural Networks by Klambauer et. al

Rectified Linear Units Improve Restricted Boltzmann Machines by Nair et. al.

Empirical Evaluation of Rectified Activations in Convolutional Network by Xu et. al.

作者

Shao-Hua Sun / @shaohua0116 (https://shaohua0116.github.io/)。

本文为机器之心编译，转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]