下一步即找到具有最佳性能的可行配置。我们可以沿可行性边界搜索配置。如果你对该搜索过程的实现细节感兴趣，请参阅原论文（搜索过程在第 3.C 节中进行了描述）。

论文连接：https://arxiv.org/pdf/1602.08124.pdf

推荐者介绍：

Hongyu 毕业于上海交通大学 09 级 ACM 班，多伦多大学在读博士，现从事关于深度神经网络训练过程的一些 profiling 的工作。

加入机器之心 ML 系统与架构小组：

近些年人工智能的突破不仅仅是机器学习算法的努力，更有包含了其所依赖的系统和架构领域的进步。如果你想更加全面的了解机器学习这个领域，对其依赖的上下游领域的了解会很有帮助。系统和架构就是这样一个下游领域。这个方向的工作极大方便了其上游算法的开发，或许你也是现在诸多 ML 系统产品的用户之一。但面对一个这样重要的跨领域的方向，你可能会感到这样一些困境：

找不到合适的学习资料

有学习动力，但无法坚持

学习效果无法评估

遇到问题缺乏讨论和解答的途径

不论你是想要获得相关跨领域的更全面大局观，还是你只是想对手中的 ML 系统工具更加了解，你都是机器之心想要帮助和挖掘的对象。基于这个方向现在越来越成为众多研究人员关注的焦点，机器之心发起了一个互助式学习小组——「人工智能研学社· ML 系统与架构小组」。本小组将通过优质资料分享、教材研习、论文阅读、群组讨论、专家答疑、讲座与分享等形式加强参与者对强化学习和深度学习的理解和认知。

面向人群：有一定的机器学习算法基础，并且对分布式计算、并行计算等也有所了解，同时想掌握此方向最新成果的人

学习形式：学习资料推荐、统一进度学习（教材或论文）、群组讨论、专家答疑、讲座等。

加入方式：

1）添加机器之心小助手微信，并注明：加入系统与架构学习组

2）完成小助手发送的入群测试（题目会根据每期内容变化），并提交答案，以及其他相关资料（教育背景 、从事行业和职务 、人工智能学习经历等）

3）小助手将邀请成功通过测试的朋友进入「人工智能研学社· ML 系统与架构学习组」

入群测试 QUIZ

1）教育背景 2）从事行业和职务 3）人工智能经历 4）人工智能系统或架构经历

数据并行和模型并行的区别在于哪里？

在训练过程中，数据并行和模型并行很难达到线性的 scale-up，你认为瓶颈会在哪？有没有办法突破这样的瓶颈？这些突破的方法又会造成什么样的副作用？

©本文为机器之心原创，转载请联系本公众号获得授权。

　　?------------------------------------------------

加入机器之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]