“人类可以不断地区分他们用来交流的模态——你用手指向屏幕上的某件物体，移动你的手，谈论它，然后，我便明白了哪些部分是重要的，从而对他们进行解释，”苏说。“跨越这一障碍的第一步就是让机器能够以正确的顺序接纳这些行为，并理解哪些部分才是重要的。他们必须在同一时间内接纳并对多种模态译码。”

　　新的CISL原型运用了来自IBM Bluemix云平台的多项技术。对文本译码——首先将语音转换为文本，然后通过Watson，使用自然语言处理对文本译码——然后触发正确的认知计算机构做相应的操作。伦斯勒理工学院开发的认知技术可以对三种手势（用手滑动放大或缩小屏幕上的窗口，或者在单一方向上滑动以关闭窗口）进行译码，可以跟踪并理解房间中的物体的位置，还可以跟踪并理解这些物体的方向。该机器还跟踪并记录屏幕上显示的信息， 以便理解并帮助人类的长期行为，比如商业上的并购讨论等。

　　“这项工作十分重要，因为我们现在可以开始进行更多的译码了，”苏说。“现在我们可以添加模态——不仅仅是基本的运动和言语，还有更丰富的理解及译码。我们可以开始探讨人类行为的微妙之处，比如偏见和情感。我们开辟了广阔的疆土。这有助于我们建立人与机器之间的共生关系。”