我们希望这个网络能够学会用它自己的符号去表征复杂的、抽象的意义，并学习使用它自己的角色去表达我们在单词游戏中看到的各种不同的功能（如主语、宾语等）。这正是 TPRN 所做的。通过学习，一个符号代表「profession」的意思，另一个代表「eographical unit」的意思，另一个代表「所有可能成为的形式」，另一个代表「人名」，另一个代表「月份」...... 事实上，通常一个符号会代表数个这种含义；这也是我们预料之中的，因为它要用仅仅拥有的 100 个符号去覆盖它所面对的各种维基百科条目中的所有含义。

最有趣的是 TPRN 所学习到的角色，（事实上，角色就是意识/脑网络的关键创新之一）。很多角色都可以根据语言学理论中的概念来解释。这些概念适用于很多不同层次的语言，TPRN 的角色与 5 个不同层次的语言概念相对应，从单词级别的「复数」到前文提及的短语扮演主语和宾语的不同情况。

简而言之，TPRN 成功地学习到了一些类似于语言学家所确定的语法概念。至关重要的是，它仅仅通过基于问题、源文本以及答案的经验就做到了这一点：他并没有内在的语言学知识，接收到的训练数据都是没有语法标注的文本（它从没有被告知「这是一个主语」），它从没有执行过一个和语法概念相关的任务。它在那种和孩童学习他们第一个语言相同的环境下进行学习，并且这些结果增加了这一有争议的主张的可信度：语言学家的抽象概念确实对应着说话人意识中的一些元素。

那么，所有这些与解释的当前人工智能系统的决策机制有什么关系呢？在很大程度上，解释了意识/脑网络的符号和角色的概念意义之后，解释整个 AI 系统行为的某个方面就变得有可能了。结果证明，当 who 出现在 Doctor Who（著名英剧：神秘博士）这个词组中时，TPRN 对单词 Who 经常会选择错误地符号。它错误地为单词 who 选择了和类似于问句「Who was the first emperor of China」中 who 的意思一样的角色。当然，这让它更容易给出错误的答案，因为它会认为「What type/genre of TV show is Doctor Who，Doctor Who 是一个什么类型/流派的电视节目」是一个「问是谁」的问题，而事实上这是一个「问是什么」型的问题（它曾经给出的一个错误的答案就是「time lord，时间领主」）。事实上 TPRN 确实会在此类问题上出现比那些为一个名字分配正确的 who 符号的场景更多的错误。

这可能是第一次有可能为一个抽象的神经网络的内部激活模式做出有意义解释，那种可以作为网络决策的一部分的解释。这仅仅是某些新事物（有意义的工作）的开始。但是，严肃地讲，一个新方向已经出现了。

论文：Deep Learning of Grammatically-Interpretable Representations Through Question-Answering

论文链接：

摘要：我们提出了一种新的架构，用以表示深度神经网络端到端优化在文本问题解答任务中的内部机制，这一机制可与基本语言学理论相通。这种可解释模型相对原始模型只有百分之几的准确性损失（BiDAF）。这种可以被解释的内部表达被称为 Tensor Product Representation：对于每一个输入词，模型选择一个符号对其进行编码，并将符号放置在特定的角色位上，以两个属性表达这个单词。选择通过 soft attention 机制形成，总可解释性是通过符号的可解释性，j2直播，以及模型训练过程构建的——模型学会了用符号和角色表示输入信息。

我们发现了支持最初假设的根据，符号可以被解释为词汇+语义，而角色可被解释为语法角色（或类别）的近似，如主语、疑问词、限定词等等。通过详细的分析，我们发现了由标准解析器指定的学习角色和部分语言之间的具体对应关系，并发现了模型中经常出现的几个差异。在这里，模型学习语法的重要概念仅仅通过未经语言学标记的文本、问题和回答——我们未向模型预先提供语言学知识。给出的只是使用符号和角色来表示的手段，和倾向于以离散方式使用它们的归纳偏差。