机器人可以访问更多信息:OpenAI机器人(很可能)构建在游戏机器人API之上,可以访问人类无法访问的各种信息。即使OpenAI研究人员限制其访问某些类型的信息,机器人仍然可以访问比人类更准确的信息。例如,某项技能只能在一定范围内击中对手,而人类玩家必须观看屏幕并且估计当前与对手的距离,这需要练习。机器人知道确切的距离,并可立即决定是否使用技能。获得各种精确的数字信息是一个很大的优势。事实上,在游戏过程中,可以看到机器人数次在最大距离上使用技能。 反应时间:机器人可以立即反应,人类却不能。再加上上述的信息优势,这是另一大优势。例如,atv,一旦对手超出特定技能范围,机器人可以立即取消某项技能的使用。 学习使用一个特定的角色:游戏中有100个不同的角色,具有不同的天赋能力和优势。机器人学习玩的唯一的角色是Shadow Fiend,通常会立即进行攻击(而不是在一段时间内持续的更复杂的技能),作为机器人,得益于信息优势和快速的反应时间。 鉴于1对1主要是机械技能的游戏,AI击败人类玩家并不奇怪。对OpenAI而言,由于环境受到严格限制,(很大可能)可用的操作也受到限制,而且很少或者完全没有进行长期规划或协调的需要,我得出的结论是,这个问题实际上比击败人类围棋冠军容易得多。我们并没有在AI中突然进步。它的成功,是因为我们的研究人员用正确的方式,聪明地设置了需解决的问题,把当前技术用到极致。据说机器人的训练时间大概是2周左右,也说明真相确实如此。 AlphaGo需要在Google的GPU集群上进行数月高强度的大规模培训。从那以后我们取得了一些研究进展,但并没有将计算要求降低一个数量级。 现在,批评够多啦。新闻炒作可能有点过度,但不妨碍这次人机大战的胜利依然很酷的事实。显然,大量具有挑战性的工程和合作建设才实现这一切。下面这次DOTA机器人很厉害的地方: 完全通过自我训练:这个机器人不需要任何训练数据,它也不会从人类的演示中学习。它完全随机开始,并且不断地跟自己对练。虽然这种技术并不是什么新鲜事物,但令人惊讶的是(至少对我来说),机器人自己就学习到了人们使用的技术,如Reddit和Ycombinator上评论中所提出的。我不太了解DOTA 2,所以无法判断这一点,但是我觉得非常酷。机器人可能还有其他人类不知道的技术。这与我们在AlphaGo中看到的类似,人类玩家开始从其非常规的动作中学习,并调整了自己的游戏方式。(有兴趣的读者可以阅读这两个论坛的讨论: https://news.ycombinator.com/item?id=14996448和https://www.reddit.com/r/MachineLearning/comments/6t58ks/n_openai_bot_beat_best_dota_2_players_in_1v1_at/dli3zpp/) AI +电竞需要迈出的一大步:在具有挑战性的环境(如DOTA 2和Starcraft 2)上来测试新的AI技术非常重要。如果我们可以说服电子竞技社区和游戏发行商,我们可以通过将AI技术应用于游戏来提供价值,我们可以期待得到大力支持,这会加速AI进展。 部分可观察的环境:虽然OpenAI研究人员如何用API处理这个问题的细节尚不清楚,但是人类玩家只会看到屏幕上的内容,并且可能在视角上会有一些限制,比如上坡下坡的树林阴影。 这意味着,与围棋或象棋或Atari(更像扑克)这样的游戏不同,我们处于部分可观察的环境中 - 我们无法访问有关当前游戏状态的完整信息。 这些问题通常难以解决,是急需更多进展的研究领域。 话虽如此,目前还不清楚1v1 DOTA2比赛的部分可观察性是多么重要 - 这里也没有太多可以策划的。 所有这些中,最重要的是,我非常期待可以看到OpenAI的技术报告,看看他们到底是怎么搭建这个系统的。 (责任编辑:本港台直播) |