虽然大多数人喜欢删除平均值，不过我不喜欢。我喜欢压缩输入数据为[-1，+1]。这可以说是训练和部署方面的技巧，而不是针对提升性能的技巧。

要能适用更小的模型。假如你是像我这样部署深度学习模型，你很快就会体会到把千兆字节规模的模型推给用户或地球另一端的服务器的痛苦。哪怕要牺牲一些准确度，也应该小型化。

假如你使用比较小的模型，可以试试 ensemble。通常 ensemble 5个网络能够提升准确度约3%。

尽可能使用 xavier 初始化。你可以只在大的完全连接层上使用它，然后避免在 CNN 层上使用。有关这点的解释可以阅读这篇文章：An Explanation of Xavier Initialization（by Andy Jones）

如果你的输入数据有空间参数，可以试试端到端的 CNN。可以阅读这篇论文：SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size[Forrest N. Iandola et. al. 2016]，它介绍了一种新的方法，而且性能非常好，你可以尝试应用上面提到的tips。

修改你的模型，只要可能就使用 1x1 的 CNN 层，它的位置对提高性能很有帮助。

假如没有高端的 GPU，就不要尝试训练任何东西了。

假如你要利用模型或你自己的层来制作模板，记得把所有东西参数化，否则你得重建所有二进制文件。

最后，要明白你在做什么。深度学习就像是机器学习里的中子弹，它不是任何任务、任何时候都有效的。了解你正在使用的结构以及你试图达成的目的，才不至于盲目地复制模型。

　　了解 DL 背后的数学，推荐阅读 Ian Goodfellow , Yoshua Bengio 和 Aaron Courville 合著的经典教材《深度学习》，这本书真的很好，讲解得很清楚。网上有免费的 pdf 版本，但买一本支持作者的贡献也无妨。

　　此外，如果想了解深度学习的历史和介绍，可以阅读邓力和俞栋合著的《深度学习：方法及应用》。

　　如果真的想从头开始实现算法，可以阅读 Timothy Masters 写的 Deep Belief Nets in C++ and CUDA C, Vol. 1: Restricted Boltzmann Machines and Supervised Feedforward Networks。

　　原文地址：https://nmarkou.blogspot.com.cy/2017/02/the-black-magic-of-deep-learning-tips.html

新智元招聘

职位：COO

　　职位年薪：50万（工资+奖金）-100万元（含期权）

　　工作地点：北京-海淀区

　　所属部门：运营部

　　汇报对象：CEO

　　下属人数：10人

　　年龄要求：25 岁至 40 岁

　　语 言：英语六级以上或海外留学从业背景

　　职位背景：在IT领域有专业团队管理经验

　　学历要求：硕士及以上

　　职位描述：

　　1. 负责新智元总体市场运营，智库与人工智能百人会经营，政府关系统筹协调

　　2. 擅长开拓市场，并与客户建立长期多赢关系，有建构产业生态系统能力

　　3. 深度了解人工智能及机器人产业及相关市场状况，善于捕捉商业机会

　　4. 统筹管理公司各运营部门，兼管公司HR及财务部门

　　5. 带领运营团队完成营业额目标，并监控协调运营部与编辑部、研究部运作

　　6. 负责公司平台运营总体战略计划、合作计划的制定与实施

　　岗位要求

　　1、硕士以上学历，英语六级以上，较强的英语沟通能力或外企从业经验

　　2、 3年以上商务拓展经验，有团队管理经验，熟悉商务部门整体管理工作

　　3、 IT领域商务拓展经验、强大的团队统筹管理能力

　　4、 有广泛的TMT领域人脉资源、 有甲方市场部工作经验优先考虑

　　5、 知名IT媒体商务部门管理经验，广告、公关公司市场拓展部负责人优先

　　应聘邮箱：[email protected]

　　HR微信：13552313024