在图中，有两种类型的节点：“灰色”代表非标签数据，同时彩色节点代表的是标签数据。节点数据间的关系通过边进行表示，每一个边的粗细程度代表的是连接的强度。在这一个图表上，我们能明确地表示出半监督学习的难题：预测图表中每一个节点的颜色（红或者蓝）。需要说明的是，图的结构和颜色选择是根据任务作出的。比如，在研究团队最近发表的论文中，研究者开发了一个收件箱智能回复功能，邮件信息就被表示为节点，而颜色则代表着用户回复的语义类型，（比如 对，太好了，很有趣）。

　　Expander 图学习框架把这一任务当成一种优化问题进行解决。在最简单的层次，它学习图像中每一个节点的颜色标签，这样，相邻的标签就能基于相互之间连接的强度来分配相似的颜色。一个较为幼稚的办法是尝试一次性全部学完标签分配，这种方法并不能扩展到大型的图上。另一个方法是，通过把标签节点的颜色传递给相邻节点，然后重复这一过程，这一问题可以得到正式的优化。在每一步中，通过观察其相邻的节点颜色，一个非标签的节点可以被分配一个标签。研究者可以通过这个方法升级每一个节点，反复操作，一直到整个图都变成彩色。这一过程在优化相似的难题时非常有效，并且，循环的次序也被转化为一个独特的解决方案。在图传播最后的解决方案看起来像这样：

　　实际上，我们使用了复杂的优化函数来定义整个图的结构，其中包含了半监督图学习的额外信息和限制条件，最终导向难度更大的非凸问题。

　　为了解决这一挑战，在去年发表的论文“ Large Scale Distributed Semi-Supervised Learning Using Streaming Approximation”（使用流近似的大规模分布式半监督学习）中，研究者描述了一种全新的方法。论文介绍了一种流算法（ streaming algorithm），以分布式的方法，处理相邻的节点中传播的信息，这使得在大规模的图中进行工作成为可能。此外，它还解决了另一个实际的问题，特别是，它保证了空间的复杂性或者系统的内存要求保持在一个稳定的状态，不管任务有多难。比如，atv，不管预测标签的数量是2（正如上面的例子 ）或者100万或者10亿，整个系统使用的都是相同数量的内存。这让大范围的采用成为可能，比如自然语言理解、机器感知、用户建模，甚至是涉及多模型的学习任务，例如文字、图片和视频的输入。基于图的语言学习能通过剩余词汇发现情感类型（比入， ROTFL的标签是“有趣”，因为这个多次反射的词与“笑”这个词有关）。

　　学会幽默的语言图（Language Graph）

　　基于图的机器学习的一个使用样例是情绪标记（emotion labeling），邮箱智能回复（Smart Reply for Inbox）里也有这项语言理解任务，目标是要将自然语言文本根据细微的情绪分类。首先，一个神经网络被用于一个语料库，学会词嵌入（word embeddings），也就是一个对每个词含义的数学向量表征。然后，用稠密嵌入向量构建一个稀疏图，节点代表单词，连接（边）代表词与词之间的语义关系。用类似的嵌入向量计算出边的强度，忽略掉其中相似度很低的边。

　　基于图的机器学习的应用

　　Expander 团队的机器学习系统如今被用于超大规模的图（含有几十亿个节点和几万亿条边），进行识别和概念理解，对象包括自然语言、图像、视频和问询（queries），驱动了提醒、问题回答、语言翻译、视觉物体识别、对话理解等应用。

　　Allo 发布以后，千千万万用户都体验到了 Expander 团队开发的系统提供的智能消息技术。此外，这种技术不仅仅用于云当中的大规模模型，比如 Android Wear 上周开放的 on-device 智能回复功能，在今后我们还希望将其用于解决互联网规模的问题。

　　致谢

　　感谢所有参与这项工作的研究员、工程师、产品经理及项目负责人，尤其是 Allan Heydon、Andrei Broder、Andrew Tomkins、Ariel Fuxman、Bo Pang、Dana Movshovitz-Attias、Fritz Obermeyer、Krishnamurthy Viswanathan、Patrick McGregor、Peter Young、Robin Dua、Sujith Ravi 和 Vivek Ramavajjala。

　　谷歌研究团队最近发表了两篇论文介绍这一技术，在新智元公众号回复1007可下载这2篇论文。

　　豪华嘉宾阵容，共飨 AI 盛宴

　　7 大院长齐聚新智元智库院长圆桌论坛