译者:闻菲、胡祥杰 【重要通知:世界人工智能大会现场一律凭活动行二维码入场,不接受现金购票,分论坛票只有下午可以入场】2016 世界人工智能大会活动行浏览过 5 万,大会售票进入尾声,还有一些已购票付款的公司和机构未换二维码。活动行在大会现场设有咨询席位,但提前换二维码节省签到时间。请团购注册的公司关注,务必提醒参会的同事们手机接收二维码,如果不清晰可以打印出来,现场在签到处换领大会嘉宾胸卡。 【倒计时 5 天,点击“阅读原文”抢票!!】? 业界领袖回溯60年AI历史,全球对话人工智能未来挑战,权威发布2016世界人工智能名人堂及中国人工智能产业发展报告;? 国际大咖“视频”远程参会, Bengio 和李飞飞联袂寄语中国人工智能;? 探秘讯飞超脑及华为诺亚方舟实验室,最强CTO与八大研究院院长交锋;? 滴滴CTO与百度首席架构师坐镇智能驾驶论坛,新智元三大圆桌阵容史无前例;? 中国“大狗”与"X-Dog"震撼亮相,龙泉寺机器僧“贤二”卖萌。 【新智元导读】谷歌 DeepMind 团队设计了一种叫做可微分神经计算机(DNC)的神经网络模型,结合神经网络与可读写的外部存储器,能够像神经网络那样通过试错或样本训练进行学习,又能像传统计算机一样处理数据,相关论文今天在 Nature 发表。DNC 能理解家谱、在没有先验知识的情况下计算出伦敦地铁两站之间的最快路线,还能解决拼图迷宫。德国研究者 Herbert Jaeger 评论称,这是目前最接近数字计算机的神经计算系统,该成果有望解决神经系统符号处理难题。 谷歌 DeepMind 又放大招:在今天在线出版的 Nature 杂志上,DeepMind 团队发表论文,提出了一种结合神经网络和数字计算机两者最强优势的混合计算系统。 常规计算机(即数字计算机)可以处理复杂形式的数据,但是需要手动编程来执行这些任务。人工神经网络可以像大脑一样的学习,从数据中识别模式,但是人工神经网络缺少存储器架构,无法对结构化数据进行符号处理。 由此,Alex Graves、Greg Wayne、Demis Hassabis 等人开发了一个叫做“可微分神经计算机”(DNC),将神经网络与一个可读写的外部存储器结合起来,这样就克服了神经网络无法长时间保存数据的缺点。 从数学上讲,DNC 类似一个可微分的函数,这也是研究人员称它为可微分的原因。相比之下,数字计算机不可微,因此也无法做到像神经网络一样从数据中学习。 研究表明,DNC 可以成功地理解图形结构,如家谱或传输网络。此外,还能在没有先验知识的情况下规划在伦敦地铁上的最佳路线,解决涉及用符号语言描述目标的移动拼图谜题。
解决结构化数据任务。a. 随机生成的训练用图。b. 伦敦地铁图线路中转站,用作遍历和最短路径任务的泛化测试。随机七步遍历(其示例在中间左边栏)得到 98.8% 的平均精度。对所有可能的四步最短路径(中间右栏)测试平均精度为 55.3%。c. 用作泛化推理任务测试的家谱;测试了四步关系(从 Freya 到 Fergus,蓝色虚线表示),atv,平均精度为 81.8%。下图灰色栏中列出了测试期间网络处理的符号序列。 可微分神经计算机,升级版的神经图灵机 德国雅各布大学研究者 Herbert Jaeger 在同一期的 Nature 刊登评论文章《深度神经推理》,称 Graves 等人证明了人工神经网络系统能够学会符号推理的某些重要(non-trivial)、核心内容。此外,“DNC 含有成千上万的可调参数,要训练这样一个系统,需要大量数学、数值和运算资源。直到最近几年,机器学习研究才克服了这些困难。论文作者对 DNC 的训练是深度学习实力的绝佳展示。” Jaeger 还将 DNC 称为“升级版神经图灵机(NTM)”。NTM 是 DeepMind 在 2015 年提出的模型(第一作者也是 Alex Graves,他是 的学生),本质上是一个带有外部存储矩阵的递归神经网络(RNN)。NTM 能够运行很多此前神经网络不能运行的简单算法。例如,NTM 能够学会在存储中储存一段长序列,然后循环,不断重复。在 NTM 这样做的过程中,可以查看它们都是在哪里进行读写,从而更好地理解 NTM 的行为。但是,NTM 不能完成加法、乘法等简单任务。 Graves 和他的同事在这一问题之上又迈出了一步,他们开发了一个神经计算系统,这一系统跟数字计算机有着惊人的类似。 与数字计算机有着惊人相似的神经计算系统 (责任编辑:本港台直播) |