摘要:作者提出了应用于 spin glasses 和深度学习这两种随机系统的优化算法的停止时间(通过达到给定精度的迭代次数测量)经验分布。对于一个我们采用了优化流程(optimization routine)和随机图景(random landscape)形式的算法,停止时间(halting time)的波动遵循一个分布,该分布能在输入彻底变化后仍然不变。我们观察两个主要类:在谷歌搜索、人类做决策时、QR 因式分解和 spin glasses 中出现的 Gumbel 形式的分布;以及出现在共轭梯度方法、带有 MNIST 数据输入的深度网络和带有随机数据输入的深度网络的高斯形式的分布。对于其的实验表明:存在一类分布——其停止时间在某些条件下与底层分布无关。 ©本文为机器之心编译文章,转载请联系本公众号或作者获得授权。 ?------------------------------------------------ 加入机器之心(全职记者/实习生):[email protected] 投稿或寻求报道:[email protected] 广告&商务合作:[email protected] (责任编辑:本港台直播) |