相比类似分形的磁铁晶格,当深度神经网络遇到猫咪的照片时,它可能会使用更多样更灵活的重整化方式。但研究人员推测,它同样会先从像素尺度逐层移动到宠物照片的尺度,剔除或整合数据里与猫咪相关的元素。 归纳世界 研究人员希望统计物理学和深度学习领域之间的交叉结合会在这两个领域产生新的进展,但施瓦布认为,“在任一方向上产生杀手级的应用程序”依然言之过早。 由于深度学习会根据手头的数据进行自我调整,因此研究者希望它能够用于评估对于传统重整化方案而言太过复杂的系统行为,如细胞或复杂蛋白质的聚集过程。这些生物系统往往缺乏对称性,看起来毫无分形特征。对于这些系统,“我们在统计物理学研究中发明出的机械化步骤没有一个能用得上,”内蒙曼说,“但我们仍然知道,既然我们自己的大脑能认知现实世界,那么肯定存在某种粗粒度的描述方法。如果现实世界是不可归纳的,那么这样的描述方法就不会存在。” 深度学习也让我们有希望从理论上去更好地理解人类认知。宾夕法尼亚大学的神经科学家维贾伊·巴拉萨布拉曼尼恩(Vijay Balasubramanian)说,他和其它跨领域专家很早就意识到重整化和人类感知之间的概念相似性。“施瓦布和梅塔的论文成果可能会给我们带来精确类比的工具。”巴拉萨布拉曼尼恩说。 例如,这个发现似乎支持了一种新兴的假设:部分大脑的工作处于一个“临界点”上,其中每一个神经元都可能影响整个网络。来自加州拉荷亚萨尔克生物研究所(Salk Institutefor Biological Studies)的谢诺沃斯基教授解释到,在物理学中,重整化其实是把一个物理系统的临界点用数学化表示,“重整化和大脑可能相关的唯一途径在于后者是否处于临界点。” 这项研究里还可能包含更深层次的信息。蒂希比就把它看作是重整化的、深度学习和生物学习其实都可以被信息论中的一个理论所囊括。所有这些技术的目的都是为了减少数据冗余,一步一步地将信息压缩到它的本质,以至于在最后的表征中,没有任何字节是彼此相关的。例如,猫咪有许多表达其存在的方式,只是深度神经网络将它们不同的相关性整合在一起,并将之压缩成单个虚拟神经元的形式。“神经网络所做的正是压缩信息,”蒂希比说,“而这也正是深度学习的瓶颈所在。” 通过将逐层剥离的数学步骤把信息拆分至最简化形式,“这篇论文的确打开了一扇大门,让我们通向非常令人兴奋的领域。”蒂希比说。 原文链接: https://www.quantamagazine.org/20141204-a-common-logic-to-seeing-cats-and-cosmos/ 延伸阅读 ① ② ③ 投稿、授权等请联系:[email protected] 您可回复"年份+月份"(如201510),获取指定年月文章,或返回主页点击子菜单获取或搜索往期文章。
赛先生由百人传媒投资和创办,文小刚、刘克峰、颜宁三位国际著名科学家担任主编,告诉你正在发生的科学。上帝忘了给我们翅膀,于是,科学家带领我们飞翔。 微信号:iscientists ▲ 长按图片识别二维码关注我们 (责任编辑:本港台直播) |