几日前，机器之心经授权发表了李沐在知乎上回答的为什么 MXNet 不火的一篇文章。最近，他又写了一篇关于深度学习入门的文章，用诙谐的语言（对比炼丹）讲解深度学习。此外，在本文中李沐也提到自己现在到了亚马逊，要大力发展 MXNet 了，这是不是意味着几大深度学习框架的格局再起变化呢？

作者：李沐

链接：https://zhuanlan.zhihu.com/p/23781756

来源：知乎

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

所谓炼丹，就是将大量灵材使用丹炉将其凝炼成丹。练成的灵丹蕴含灵材的大部分特性，方便携带，容易吸收。高级仙丹在炼制中更是能吸收天地灵气从而引发天地异象。

深度学习的模型训练就是炼丹。把精选原始数据，按照神经网络的规定法则通过计算框架提炼，从而得到一个远小于数据数倍的模型。一个好的模型不仅能抓取数据中的模式，更是能提取更加一般化规则从而可以用来预测新的数据。

虽然有人会指出机器学习的模型训练也是一个类似的过程，但深度学习丹师对此是不屑的，他们认为训练「浅」模型的人最多算是老中医。因为经过了多年探索，传统机器学习模型已经解析得比较透彻，有着完整的一套理论，原材料种类趋向于固定，药方相对简单，对药罐要求也不高。

但深度学习更加神奇。灵材各式各样，可以自由组合。单方也是千奇百怪，比中药方复杂数百倍。对丹炉要求苛刻，而炼制手法更是各种出其不意。整个一套流程并没有太多理论可依循，主要是靠炼丹者对天地灵气和规则的感悟。

随着一颗一颗各式灵丹的练出，整个修仙界已经为此疯狂。本文简要的介绍深度学习炼丹的方方面面，并对丹界新人的修仙之路提供几点微小的建议。

炼丹简史

炼丹这一门在修真界存在已久。上次辉煌发生在上世纪 80，90 年代。笔者本科导师曾回忆，他参加过一次鼎盛时期的炼丹大会，场地在海边一字排开，连绵几百米。那次会有数万人参加。但现在连名字大家都不怎么记得了。

炼丹门的上一次衰退有多个原因。一个是 kernel 派的入侵，他们凭着一招无穷升维打得炼丹门措手不急。一方面上手容易，修炼不需要感受天地元气，另一方面又有一套从史前数学界偷来的泛函心法，老少皆宜。接踵而来的都是统计学习流，凸优化流，图模型流，他们凭着从数学界那里搬来的各式外门功夫迅速占领了修真界。

炼丹门因为入门困难，操作复杂，于是人员凋落，门内坚守最后的几大长老纷纷躲在极寒之地加拿大过冬。那段时期大家只要一听到「炼丹」纷纷脸色一变绕道而行。

但数年前，炼丹门大长老的得意弟子凭借一张 AlexNet 丹方在修仙界大擂台 Imagenet 竞赛上一举夺魁。随后炼丹界突破不断，全民炼丹拉开了帷幕。

炼丹门的复苏离不开方方面面的改进。下面列举主要的几个：

灵材

整个修真界都是围绕着灵材展开，这是修仙最基本素材。一份炼丹灵材通常不止有多类灵材，例如 MNIST 有 10 类，ImageNet 则有上千类。每类中通常有数个同类但各式属性稍有不同的个体。高端的丹药可能需要多种差异颇大的灵材，例如混合灵草和妖兽。

判断一份灵材的好快通常可以通过种类的多样性和数量来衡量。种类越多，练成灵丹的效用就越广。种类个体越多，灵丹对此对其灵性吸收就越好。一份上好的灵材是炼丹成功的必备。

目前修真界流程的各样灵材，例如历史悠久的 MNIST 和近些年颇受关注的 ImageNet。丹师通常可以免费或者花费很小代价获取这些灵材。

但炼制独树一格的丹药通常需要有独一无二的灵材。有钱世家会花钱收集此类灵材，或者自家种植然后请人打理。但修真仙门通常更重视内功心法，或者觉得亲自动手也是一种锻炼，于是一般要求自己弟子动手准备灵材。主要从事这内工作的通常叫药童。很多丹师是从药童做起。

丹方

　　丹方里最重要的是灵阵。灵阵控制如何抽取和凝结灵材中的灵性。灵阵中有若干节点，atv，然后通过回路连接这些节点。灵材沿着回路在每个节点处进行一步一步的提纯。

根据灵材的不同，灵阵也会不一样。例如卷积类灵阵适合具有空间属性的灵材，而 Recurrent 类则适合炼制时间类属性灵材。如何设计灵阵并没有太多套路可以依循，这个主要是取决于丹师对灵材和天地规则的感悟。对于后者，开奖，一个常用的领悟对象是灵长类动物的大脑。不过即使修仙界孜孜不倦的研究了半个世纪，但进展并不是很迅速。

真火