【新智元导读】本文作者邓侃认为，机器阅读其实就是自然文本的结构化，而文本摘要和机器翻译在2016年的进展，昭示了机器阅读即将取得的突破。

　　机器阅读将是深度学习的下一个重大进展

　　回顾2016年，深度学习在应用领域取得了三个重大进展。

　　1. Google DeepMind 的 AlphaGo，战胜了人类顶级围棋高手。

　　2. Google Translate 上线，达到了与人类媲美的精度。

　　3. Tesla 的 AutoPilot 投入使用，让自动导航成为大众使用的日常工具。

　　展望2017年，深度学习在应用领域将会有新的突破，其中一大看点，就是机器阅读。

　　书籍是人类文明的主要传承工具。让机器掌握自动阅读的能力，将会颠覆性地降低知识传承和使用的难度。

　　机器阅读之所以可能在2017年取得突破性进展，原因是机器翻译的工作原理，可以拓展到机器阅读领域。

　　文本摘要的研究，在2016年取得的进展，已经昭示了机器阅读的前进方向。

　　所谓文本摘要，就是把整篇文章，输入给电脑，电脑自动输出文章的中心思想。

　　文本摘要的工作原理，与机器翻译的工作原理，一脉相承。

　　机器翻译的原理，编码及解码

　　机器翻译的工作原理，说来简单，先编码，后解码 [1]。

　　编码的任务，是把输入的文章，转换成一连串数字向量，数字向量包含文章每一词的语义和语法信息，如同基因DNA。

　　解码的任务，是把数字向量，逐个转换成其它语言的词语，完成翻译。

　　任务明确后，接下去谈如何实现。

　　如何提炼文章中每一个词的语义信息？机器翻译用了两个办法，

　　1. 词向量，词向量包含这一个词的语义信息。词向量的实现方式，用的是神经网络与语言模型的组合，稍后介绍。

　　2. 语义向量，语义向量包含了从文章开头到当前词的主要语义，也包含了从当前词到文章末尾的主要语义，所以语义向量又称为前后文向量。语义向量的实现方式，用的是 LSTM 的隐状态，稍后介绍。

　　除了语义信息，编码是否需要容纳语法和统计信息？

　　文本摘要的研究者们，提议在编码中也容纳语法词性标注（POS tagging）、实体标注（NER）、信息挖掘统计值（TF-IDF）等等信息 [2]。

　　悬念是，还有哪些其它有用的信息，也应该被容纳进编码中？

　　更大的悬念是，如何提高编码的正确性，精准地全面地表达原文的语义和语法信息？

　　编码的实现原理

　　编码的实现，依赖于词向量和语义向量。

　　词向量的实现方式，用的是神经网络与语言模型的组合 [3]。

　　先说语言模型（Language Model），语言模型的任务，是根据前文，预测下一个词，最可能是什么？

　　有时候听众会打断对方的发言，说，“你不用再说了，你下面想说什么，我已经猜到了”。这样的听众，脑子里拥有出色的语言模型。

　　人类语言有缺陷，“版图” 与 “疆界”，无一字相同，但是语义相同。

　　语言模型把每一个人类词汇，对应到一个词向量。词向量是数字向量，数字向量的好处在于，容易计算数字向量之间的距离。同义词的词向量之间的距离为零，近义词的词向量之间的距离较短。

　　人类词汇，有一词多义的情况。词向量的技术难题，在于如何给多义词配置多个词向量。

　　[3] 用神经网络，来根据前文，预测下一个出现的词。

　　所谓预测，其实是估算词库中所有词汇，哪一个词汇在下一个出现的概率最大。神经网络发挥的作用，是概率模拟器。

　　预测很准的时候，神经网络中的诸多参数就不需要调整。预测不准的时候，就调整这些参数，提高后续预测的精准度。这就是语言模型训练的过程。

　　因为要估算词库中所有词出现的概率，所以训练语言模型的计算量，往往大得惊人。

　　解决的办法，是尽可能缩小候选词汇的数量。办法很多，譬如 beam search。

　　语义向量的实现，依赖 LSTM（Long Short Term Memory）。LSTM 也是一种神经网络，特色有二 [4]。