这里的 q 叫做配分函数（Partition Function）,就是系统中粒子在不同能量级上的分布，它是连接微观粒子状态与宏观状态的桥梁，是整个统计力学的核心。不仅对于气体粒子，玻尔兹曼分布同样被证实适用其他微观到宏观的状态演化，比如著名的Ising Model。Ising Model最初是用来解释铁磁物质的相变（磁铁加热到一定温度以上出现磁性消失）的，模型标定每个小磁针两个状态（+1 -1），所有N个粒子的状态组合是一个"配置"，则系统共有2的N次方个"配置"，该系统的数量众多“配置”的不同能量级分布服从“玻尔兹曼分布”：

　　因模型简单与高度抽象，IsingModel被广泛应用于自然科学与社会科学等众多领域。如果将小磁针看作神经元，磁针状态看作激发与抑制，Ising Model 也可以用来构建深度学习的Hopfield模型，或者玻尔兹曼机 。Hopfield Associative Memory (HAM)是经典的神经网络，它仅包含显式神经单元，j2直播，给这些单元赋予能量，经过推导，我们可以得到这个神经网络的配分函数和自由能表达式，看起来是不是似曾相识？

　　不过HAM模型有不少显而易见的缺点（无法一层层提取潜变量的信息），Hinton因而创造了有隐含神经元的RBM。

　　在《迷人的数据与香农的视角》与《站在香农与玻尔兹曼肩上，看深度学习的术与道》两文中，我反复介绍了自己的“顿悟”：“事物由不同层次的随机变量展现出来的信息来表达，不同层次上的随机变量携带不同的信息，共同组合影响上一层的随机变量的信息表达，而随机变量对外表达的信息则取决于该随机变量的条件概率分布”。如果要给这个“顿悟”找个科学的解释，最合适就是尺度重整化（ScaleRenormalization）了。Charles H Martin博士2015年在其文章 《Why Deep Learning Works II: theRenormalization Group》提到，在神经网络中引入隐含节点就是尺度重整化。

　　每次尺度变换后，我们计算系统有效的哈密尔顿能量，作用在新的特征空间（潜变量空间），合理的尺度重整化保持了系统哈密尔顿自由能的不变性。注意这里的能量守恒，它确保了尺度重整化的合理性。每一次尺度变换后，自由能保持不变。F =-lnZ, 这里Z是配分函数（上文的q），是一个能量（不同能级上粒子数）的概率分布，Z不变，即能量的概率分布不变，就是要求潜变量的特征空间中的大尺度“粒子”能满足原来能量的概率分布。重整化群给出了损失函数，也就是不同层的F自由能的差异， 训练就是来最小化这个差异。

　　这么多的基础理论，展现了深度学习中的无处不在的物理本质。我还可以举几个大家熟悉的例子，激发思考：CNN 中卷积的意义是什么，平滑输入特征对最终的模型为什么是有效的，为什么池化（pooling）很实用？动量（Momentum）优化方法为什么比普通的SGD快，而且适用高曲率的场合？ 为什么Dropout是高效、低能耗的 规则化（Regularization）方法？为何Lecun新提出的EBGAN有更好的收敛模式和生成高分辨率图像的可扩展性？不一而足，深度学习实验室应该多欢迎一些物理背景的学者参与进来啊！

　　人法地，地法天，天法道，道法自然。在女生节、女神节里，对身边可爱、聪慧、善良、温婉、贤惠与伟大的女性同胞多一声祝福，衷心希望男同胞不要收到“薛定谔的滚”！用智慧的头脑，不断重整化我们的认知、态度，让和谐与美好成为最大似然。

　　作者简介

　　王庆法，阳光保险集团大数据中心副总经理兼首席架构师、平台部总经理，首席数据官联盟专家组成员，16年在数据库、分布式系统、机器学习以及云计算等领域，从事软件开发、架构设计、产品创新与管理。热衷于基于市场的数据产品的创新与落地。