Facebook 的论文引起的最大争议之处在于忽视了上述 MXNet 的相关研究成果。在贾扬清 Facebook 时间线的留言中，《Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour》论文的第二作者 Ross Girshick 表示，「我们并不知道你的论文，我们将会在我们论文的更新版本中加入引用。非常抱歉这个遗漏。但这里要指出（我们的研究）存在两个重要的不同之处：1. 我们展示的是一种基本规则，直播，它的目的是避免对每一个 minibatch size 进行超参调节。上方的曲线图是学习速率分别为 0.1，0.5 和 1（对应的 minibatch size 为 256，2560 和 5120）时的结果，同时在 minibatch 为 5k 的情况下改变了相应的衰减设定（decay schedule）。这看上去像是对每一个 minibatch size 进行超参搜索的结果，但是至少我没有发现 4.5.3 那样的一般方法。可能我漏掉了它？2. 8192 大于 5120，打破已有的限制一直很重要。」

最后，论文的另一作者何凯明也发表了自己的一些看法。

「我们曾经产生过一个内部的争论，是关于是否应该发表一篇论文来描述我们如何实现这些结果的。我承认这篇论文没有太多的新内容，因为这是我和我的同事在多年以前就完成的，atv直播，包括我们怎样改进 ResNets 和 Faster R-CNN。在和很多人讨论后，这些人包括现在的和以前的一些来自微软、Facebook、谷歌、百度和一些高校的科学家和工程人员，我们意识到并不是所有的细节都被从业者、工程师或科研人员所熟知。因此最终我确信我们应该撰写这篇论文：我们希望它可以成为一个有用的手册，特别是对那些可能在他们的系统里遗漏掉一些东西的人。」

「从我的经验而言，『linear scaling lr』之所以出奇的有效是因为在过去几年中，它大大地帮助了我们去建立和改进计算机视觉算法，包括 ResNets, Faster R-CNN 和 Mask R-CNN，要知道过去当我们要调整基准的时候，当时并没有足够的 8-GPU 甚或是 4-GPU 机器供我们使用。由于它的『奇效』，我们并不需要重新选择任何超参数——hyper-parameters（和通常那样选择特定的学习速率和相关设定形成对比）。这个线性比例学习速率（linear scaling lr）不是一个新内容：在我们的论文里（Sec. 2.1『Discussion』, p3）我们引用了 Leon Bottou et al. 的综述论文【4】，它给出了线性比例学习速率（linear scaling lr）的理论内容（还有一些介绍）。通过和 Leon 本人的私下沟通我们发现这个理论太古老也太普通了，以至于我们无法追溯到它的创始人。我真的希望推广这个线性比例学习速率 linear scaling lr 的『法则』（也可以叫做理论），因为我过去几年从中获益良多。」

「另一方面，我早就有了一些使用『开方』（『sqrt』）法则的成功经验：实验性的结果可以在我们的论文里的表格 2(a) 找到。也有一些关于『线性比例』（「linear scaling」）法则和『开方』（『sqrt』）法则的理论正确性的讨论；但是我们在这篇论文里分享的是我们丰富的实验性结果（包括 ImageNet/COCO, 预训练 pre-training/精调 fine-tuning, 分类 classification/探测 detection/分割 segmentation），并且强力地支持了线性法则，因为我在过去几年就已经有了相关经验。」

「你提到了使用『linear scaling lr』法则的『不稳定』结果。这和我们提出 warmup 方法的动机是一致的，可以从【4】中找到相关的理论支持。在过去一年的研究中，我也从 warmup 策略中受益良多，它可以帮助我很简单地进行扩展（scale out）并且让我的生活更加轻松起来。我们希望这可以帮助到一些（可能不是所有）研究人员和工程人员。」

据悉，在论文引用争议出现之后，各方经过充分交流已互相理解。

本文为机器之心报道，转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]