从这里得到启发，我们的人工智能先驱创作了人工神经元。人工神经元同样有一些输入，这个输入经过非常简单的方式加权求和，通过非线性的函数输出一些结果，把很多个这样的神经元组合起来，就可以做一些复杂的事情。

　　比如说输入是一张图片，要识别这个图片里面带有的数字。这里展示一个单隐层的神经网络。当然也可以增加这个隐层的数量，可以把网络的识别能力不断提升。

　　深度学习跟今日头条有什么关系？

　　这些深度学习跟今日头条有什么关系？今日头条是一家为用户提供信息资讯的分享阅读平台。整个环节当中有三部分非常重要，包括高质量的内容怎么创作出来，这些内容怎样分发给感兴趣的用户、读者读了这些文章、看了这些视频之后怎样去鼓励他们围绕这些内容进行讨论和交流。这三方面的核心技术都需要人工智能。

　　我今天会介绍这三个方面中的两方面，包括内容创作以及内容讨论——我们怎样做机器人来跟人去讨论以及做机器人自动创作。

　　我们要处理的问题主要是语言问题，和之前讲的图像问题有很大的区别，图像的输入是固定大小的，而语言的问题就比较复杂，一句话可长可短。这样带来一个问题，怎样处理变长的输入。我们创作的深度学习模型最基础的就是要能够处理可变长的输入，最基本的想法就是增加记忆单元。在这个模型里面有一些单元专门负责记录历史信息，它能够记住较长时间内的信息，对未来做预测。

　　对话机器人

　　比如说这里有一个非常简单的循环神经网络模型，它的输入是X1、X2、X3、X4，每个输入都是一个向量，和传统卷积神经网络不同的地方就是它的输出部分或者影像量的那部分，h在这里，每个h不仅跟当前的位置输入有关，还跟前面一个输入有关，这样可以把历史信息结合进来，这是最简单的形式。

　　还有稍微复杂的一个形式叫Gated Recurrent Unit(GRU)，像人脑学习加入了一些开关，可以选择性对信息做记忆和遗忘。比如加入了一个开关叫Reset Gate，对信息做选择性记忆，另外还有一个开关控制输出，可以控制哪些部分是之前一个时刻之前一个位置留下来的信息，哪些信息需要保留到下一个位置。

　　通过这些带有记忆单元的神经网络，就可以构建出自动对话的机器人。比如说这里我展示了一部分我们的机器人可以做的对话。

　　我们的机器人不仅可以跟人闲聊，还可以对用户说的一些新闻做出带有感情色彩的评判，甚至我们的机器人对于很长很长的输入，也可以做出比较准确的回应。这里有一段很有名的电影台词，机器也可以很好的回应。

　　到底怎么生成这些对话中的回应？这里有一个简单的演示：从循环神经网络出发，给它一个初始状态，黄色的部分是它的初始状态，从这个初始状态出发生成下一个状态，从当前隐含的信息出发可以去预测出当前这个位置需要输出哪个文字。有了文字之后，我们再把这个文字信息作为下一个字需要输入的需要信息输入进去，综合起来从第一个字生成第二个字生成第三个字生成第四个字，直到生成句子结束为止。