我们在很多公共的数据集上做测试，结果表明我们提出的LightRNN算法极大的减小了模型的尺寸，可以把原来语言模型的大小从4G降到40M左右，当这个模型只有40兆的时候，很容易使得我们在移动设备或者是GPU上使用。我们的方法使得深度模型在各种能耗比较低或者内存比较小的设备上的使用成为了可能。并且我们还发现，通过这样一种共享的二维词表的嵌入，我们得到的循环神经网络模型的精度并没有受到很大的影响，实际上LightRNN的精度反而略微有上升，和前面的卷积神经网络压缩的结果比较类似。

挑战3:大计算需要昂贵的物质、时间成本

前沿3：全新的硬件设计、算法设计、系统设计

大计算说起来容易，其实做起来非常不容易，非常不简单。我们微软亚洲研究院研究员提出深度残差网络，这种网络如果在ImageNet这样一个上百万的数据上进行训练的话，用四块现在最先进的GPU卡K80学习训练时间大概要三周。最近百度做的神经机器翻译系统，他们用了32块K40的GPU用了十天做训练，谷歌的机器翻译系统用了更多，用了96块K80的GPU训练了六天。大家可能都知道AlphaGo， 它也需要非常大量的计算资源。AlphaGo的模型包含一个策略神经网络，还有一个值网络，这两个都是卷积神经网络。它的策略网络用了50块GPU做训练，训练了3个周，值网络也是用了50块GPU，训练了一周，因此它整个的训练过程用了50块CPU四周时间，差不多一个月。大家可以想一想，如果训练一个模型就要等一个月，并且我们经常要调各种超参数，一组超参数得到的结果不好，换另外一组超参数，可能要尝试很多组超参数，如果我们没有大量的计算资源，一等就是一个月，这从产品的更新换代还有技术创新的角度而言，都不能接受。刚才说了只是AlphaGo训练的复杂度，其实它的测试，比如说比赛的时候，复杂度也非常高， AlphaGo的单机版和人下棋的时候，每次下棋需要用48块CPU 8块GPU，它的分布式版本就用的更多，每次需要用1200块CPU再加上176块GPU。大家可以想一想，地球上有几个公司能承受这么高昂的代价来做深度学习。

因此我们认为，深度学习所面临的第三个挑战是如何设计一些更高级的算法，更快的算法，更有效的算法。手段可能是通过一些全新的硬件设计或者是全新的算法设计，或者是全新的系统设计，使得这种训练能够大大的加速。如果我们还是这种训练动不动就要几十块GPU或者几百块GPU，要等几个星期或者是几个月的话，对工业界和学术界而言都不是好事，我们需要更快速更有效的训练方法。

挑战4：如何像人一样从小样本进行有效学习？

前沿4：数据+知识，深度学习与知识图谱、逻辑推理、符号学习相结合

现在的深度学习主要是从大数据进行学习，就是我给你很多标注的数据，使用深度学习算法学习得到一些模型。这种学习方式和人的智能是非常不一样的，人往往是从小样本进行学习。人对图像进行分类，如果人想知道一个图像是不是苹果，只需要很少几个样本就可以做到准确分类。两三岁小孩，开始认识世界的时候，他如果想知道什么样的动物是狗，我们给他看几张狗的图片，并且告诉他狗有什么特征，和其他动物像猫或者羊有什么区别的话，小孩可以很快很准确的识别狗。但是在ImageNet比赛里，像深度残差神经网络，一般来说一个类别大概需要上千张图片才能进行比较充分的训练，得到比较准确的结果。还有一个例子就是汽车驾驶，一般来说，通过在驾校的培训，也就是几十个小时的学习，几百公里的练习，大多数人就可以开车上路了，但是像现在的无人车可能已经行驶了上百万公里，还是达不到人的全自动驾驶的水平。原因在于，人经过有限的训练，结合规则和知识能够应付各种复杂的路况，但是当前的AI还没有逻辑思考、联想和推理的能力，必须靠大数据来覆盖各种可能的路况，但是各种可能的路况几乎是无穷的。

前面提到的小孩子认识世界的过程，很多时候，大人可以把一些经验或者是知识传授给他们，比如说苹果是圆形的，有红色的或者青的苹果，狗和猫的区别在什么地方。这种知识很容易通过语言进行传授，但是对于一个AI或者对于一个深度学习算法而言，如何把这种知识转化成实际模型的一部分，怎么把数据和知识结合起来，提高模型的训练的速度或者是识别的精度，这是一个很复杂的问题。