对每个样本 i 进行了采样，其中 0≤λ≤1。在极端情况下，λ=0 意味着之前的数据完全被忽视了，而 λ=1 则表示新数据的影响推迟到了下一个更新步骤，因为这是它们在

中结束的时候。

我们看到，为了防止在更小的更新集上过拟合，就必需旧数据。我们观察到一个有趣的结果：因为新的更新集数据被认为是下一步骤 t 中

的一部分，因此 λ=0.75 和 λ=1 的表现差不多。

3.在有标注噪声时保持稳健

在生产场景中，新数据的标签很少是无噪声的——由于实时性需求，开奖，人类判断者往往需要做出快但并不准确的决定，而三到五位判断者之间的不一致率可能会高达 75%。因此，在有标注噪声时保持稳健对于连续学习方案而言至关重要。

我们使用 64 的 minibatch 大小在每个更新步骤执行了 10 epoch，并随机污染固定比例的新可用数据——用剩余类别的样本替换这些数据，但同时保持它们的标签不变。如预期一样，标注噪声会降低准确度，但我们的连续学习方案对此相对稳健，在存在 10% 的噪声时准确度仅下降了 2%。

第二部分总结

在本报告的第二部分，我们了解了近来连续学习方面的研究成果，并对增量微调的有效性和稳健性进行了一些阐述。我们希望这能激励读者加入到对机器学习系统的讨论中，并与不同背景的人交流知识。

加入机器之心 ML 系统与架构小组：

近些年人工智能的突破不仅仅是机器学习算法的努力，更有包含了其所依赖的系统和架构领域的进步。如果你想更加全面的了解机器学习这个领域，对其依赖的上下游领域的了解会很有帮助。系统和架构就是这样一个下游领域。这个方向的工作极大方便了其上游算法的开发，或许你也是现在诸多 ML 系统产品的用户之一。但面对一个这样重要的跨领域的方向，你可能会感到这样一些困境：

1. 找不到合适的学习资料

2. 有学习动力，但无法坚持

3. 学习效果无法评估

4. 遇到问题缺乏讨论和解答的途径

不论你是想要获得相关跨领域的更全面大局观，还是你只是想对手中的 ML 系统工具更加了解，你都是机器之心想要帮助和挖掘的对象。基于这个方向现在越来越成为众多研究人员关注的焦点，机器之心发起了一个互助式学习小组。

因此，为了帮助「 系统与架构新手」进入这一领域，机器之心发起了一个互助式学习小组——「人工智能研学社· ML 系统与架构小组」。本小组将通过优质资料分享、教材研习、论文阅读、群组讨论、专家答疑、讲座与分享等形式加强参与系统与架构和深度学习的理解和认知。

面向人群：有一定的机器学习算法基础，并且对分布式计算、并行计算等也有所了解，同时想掌握此方向最新成果的人

学习形式：学习资料推荐、统一进度学习（教材或论文）、群组讨论、专家答疑、讲座等。

加入方式：

1）添加机器之心小助手微信，atv，并注明：加入系统与架构学习组

2）完成小助手发送的入群测试（题目会根据每期内容变化），并提交答案，以及其他相关资料（教育背景 、从事行业和职务 、人工智能学习经历等）。

3）小助手将邀请成功通过测试的朋友进入「人工智能研学社· ML 系统与架构学习组」。

入群测试 QUIZ

1）教育背景 2）从事行业和职务 3）人工智能经历 4）人工智能系统或架构经历

1. List one or two major differences between DNN training and inference.

2. Why are GPUs widely considered the best hardware for DNN training, but not necessarily inference?