【新智元导读】阿里巴巴认知计算实验室与伦敦大学学院计算机系合作，以游戏“星际争霸1”（下简称“星际”）中的微观战斗场景为测试环境，深入地研究了多个 AI 智能体之间的协作问题，旨在通过协作智能解决人类不擅长的问题。该研究引入的多智能体双向协调网络（BiCNet ）可以自动学习各种最佳策略来使多个智能体协同作战，从无碰撞移动到基本的攻击和逃跑策略，再到复杂的掩护攻击和集中火力攻击。该研究所用的方法优于目前已有的最先进方法，多智能体协作完成复杂任务，显示出了在现实世界中电商、游戏、健康医疗等智能决策领域的广泛应用前景。

　　现实世界的 AI 应用程序通常需要多个智能体协同工作。智能体对沟通和协调的有效学习是向通用人工智能迈进过程中不可或缺的一步。阿里巴巴认知计算实验室与伦敦大学学院计算机系合作，以游戏“星际争霸1”（下简称“星际”）中的微观战斗场景为测试环境，深入地研究了多个 AI 智能体之间的协作问题。

　　这篇论文以星际作为测试场景，其任务是协调多个智能体作为一个团队来打败他们的敌人。为了保持可扩展但有效的通信协议，该研究引入了一个多智能体双向协调网络（BiCNet ['bIknet]），其具有 actor-critic 表达的向量化扩展。可以看出，在交战双方都有任意数量的 AI 智能体时，BiCNet 可以处理不同地形下的不同类型的战斗。分析表明，如果没有任何诸如人类示范或标签数据的监管，BiCNet 可以学习与经验丰富的游戏玩家相似的各种类型的合作策略。此外，atv，BiCNet 很容易适应异构智能体的任务。在实验中，研究者根据不同的场景、以多个基线为参照对方法进行了评估。它展示了最先进的性能，并且具有大规模现实世界应用的潜在价值。

　　为了更好地让读者理解智能体是如何在星际争霸中协同合作的，阿里巴巴认知计算实验室向新智元提供了独家视频讲解：

　　协作智能是通用人工智能的基础

　　过去十年 AI 领域取得了巨大进展。借助标签数据监督，机器在一定程度上超过了人类的视觉认知和语音识别能力。同时，单个 AI 单元（又名智能体）在多项游戏中击败了人类，包括 Atari 视频游戏、围棋和德州扑克。

　　然而，真正的人类智慧包含社会和协作智能，这是实现通用人工智能（AGI）宏伟目标的基础。集体的努力可以解决个体无法解决的问题。即使像蚂蚁这样弱小的个体，当其形成社会组织时，也可以完成例如猎食、修建一个王国甚至发动一场战争这样有高度挑战性的任务。

　　有趣的是，在即将到来的算法经济时代，在一定程度上具有人工集体智能的 AI 智能体开始在多个领域出现。典型的例子包括股票市场上的交易机器人游戏，广告投标智能体通过在线广告交易平台互相竞争，电子商务协同过滤推荐者通过人群的智慧预测用户兴趣等等。AGI 的下一个重大挑战是回答大规模多个 AI 智能体如何从激励和经济约束共存的环境中吸取经验，学习人类水平的合作或竞争。随着深度加强学习（DRL）的蓬勃发展，研究人员开始借助增强后的学习能力，着手解决多代理协作问题。

　　BiCNet自动学习多智能体协作的最佳策略

　　这篇论文利用即时策略游戏星际争霸1，研究了多个智能体之间协作行为的学习。研究特别聚焦在星际争霸的微观战斗场景上。每个玩家控制自己的单位（具有不同的功能，需要协作完成任务），在不同的地形条件下摧毁对手。

　　这种游戏被认为是最难的游戏之一，比围棋的变化更多。大规模多智能体系统的学习面临的一个主要难点是，参数空间随着参与其中的智能体数量的增加而呈指数级增长。因此，智能体的行为可能变得如此复杂，以致任何联合学习者方法（joint learner method）都将无法处理游戏中智能体数量的动态变化。

　　研究者让多智能体把星际争霸中的战斗任务当作零和随机游戏。智能体通过研究者提出的双向协调网络（BiCNet）互联，而学习是使用多智能体 actor-critic 框架完成的。此外，论文还介绍了动态分组和参数共享的概念，以解决可扩展性问题。研究表明，BiCNet可以自动学习各种最佳策略来协调多个智能体，类似于有经验的人类玩家在玩星际争霸时所采用的策略，从轻微的无碰撞的移动到基本的攻击和逃跑策略，再到复杂的掩护攻击和集中火力攻击（但不浪费）。研究者在一系列不同难度等级的战斗任务中进行了实验。通过对具有不同程度困难的一系列作战任务进行测试，进行了实验。该研究所用的方法优于目前已有的最先进方法，并显示出了在现实世界的多智能体任务中广泛的应用前景。

　　BiCNet的架构