你可能会注意到，通过使用 gluon，我们可以让代码在 CPU 或 GPU 上运行的更快。这很大程度上是因为 gluon 可以调入已用 C++ 写好的高度优化层。

多 GPU 和多机器训练

如下图所示是一个用 2 块 GPU 实现 2 层神经网络的范例。可以看到，为这个两层神经网络编写并行程序是比较麻烦的，更何况对于一个动辄几百层的神经网络来说呢？

如下图所示，应用 MXNet 的相应方式编写串行程序，就可以实现并行化的运行，这是十分便捷的。

下图是数据并行化的概述过程：

当使用多台机器进行分布式计算时，用户不再需要大量改写代码。

运用阶层式参数服务器可将运算扩展到多台 GPU 机器：

下图是相关实验的设置情况：

如下图所示是多台机器的相关扩展性结果。

下图是用不同数量 GPU 完成 top-1 精确度的相关时间情况对比：