所有的研究走过的道路都是曲折的。OpenAI 的智能体一开始经常会发明不具有合成性特征的语言。即使智能体成功发明了想要的语言，其解决方案也会经常具有「个人特征」。

研究人员遇到的第一个问题就是智能体创造单一话语并将其映射到空间而产生意义这一倾向。这种莫尔斯电码类的语言很难解密并是一种非合成性（non-compositional）语言。为了纠正这一点，研究员对每个语句添加微小的成本，并对快速完成任务添加了优先权。这样的设置就能鼓励智能体更简洁地进行交流，同时也将拥有更大的词汇量。

研究员遇到的另一个问题是智能体会试图使用单个单词编码整个句子的意义。之所以会发生这样的问题，是因为研究者们赋予了智能体使用大型词汇库的能力。通过大型词汇库，智能体最终会创造出单一话语进而编码整个句子的的意义（如「红色智能体，去蓝色界标」）。虽然这对智能体十分有用，但这种方法要求词汇量的大小与句子长度成指数型地增长，并且与创造人类可解释的（interpretable）人工智能这一目标不相符。为了防止智能体创造出这种语言，研究员们通过给已流行单词加上偏好而压缩单词量的规模，这一灵感来源于「句法交流的演变（Theevolution of syntactic communication）」。研究员们给予特定单词的奖励与这个单词之前所出现的频率成比例。

最后，开奖，研究员还发现了一些智能体并不基于颜色，而会基于其他特征如空间位置等线索发明界标参照（landmarkreferences）。例如，智能体会发明一些「top-most」或「left-most」等指代二维坐标系统位置信息的词。虽然这些行为是非常具有创造性的，但其在特定环境中的实现是十分具体的，并且如果从本质上改变智能体所处的地理构成，那么系统就会出现问题。为了解决这个问题，研究者们将智能体放置在以自身为原点的坐标系（智能体之间没有共享的坐标系）。这个做法就解决了方向问题，智能体们也就能有自身的色彩属性指向界标。

不能说话？让我为你指路。听不到？让我做你的向导

当智能体不能通过文本相互交流，并且必须在模拟环境中执行物理运动时，该训练法同样能运作。在接下来的动图中，研究员们展示了智能体指向点的即时情况或指导其他智能体去目标的情况，在极端情况下智能体会看不见它们的目标。

　　从上到下：人工智能智能体通过指向将目标的位置信息通知另一个智能体；较小的智能体引导更大的智能体朝向目标;智能体将一个盲目的智能体推向一个目标。

推论语言和基底语言

如今，很多人已经将机器学习应用到与语言相关的任务中，也取得了巨大成功。大规模机器学习技术已经在翻译、语言推理、语言理解、句子生成以及其他领域取得了重要成就。所有这些研究方法都是给系统输入海量文本数据，系统从中提取特征并发现模式。虽然这类研究已经产生了无数个发明与创新，但仍然有些缺点，这与所学语言的表征质量有关。越来越多的研究证明，如果以这种方式用某种语言训练计算机，机器并不会深入理解该语言与真实世界的连接方式。该研究试图解决这一根本问题，方法就是训练智能体发明与他们自己对世界的感知紧密联系的语言。

训练语言模型却没基础，这些计算机就像 John Searle 中文房间（Chinese Room）隐喻所描述的机器，它们将输入的文本与类似词典的东西（通过分析海量文本数据所得）进行比较。但是，仍然不清楚的是，这些计算机的想法有多少是关于文本表征内容的，既然它们从未离开过房间，也能与文本描述的世界互动。

中文房间实验

一个对汉语一窍不通，只说英语的人关在一间只有一个开口的封闭房间中。房间里有一本用英文写成的手册，指示该如何处理收到的汉语讯息及如何以汉语相应地回复。房外的人不断向房间内递进用中文写成的问题。房内的人便按照手册的说明，查找到合适的指示，将相应的中文字符组合成对问题的解答，并将答案递出房间。