只选择一种常见的框架，如 Caffe、TensorFlow 或 MXnet。计划仅使用一种框架和一种计算机语言来最大限度地减少由不必要复杂度带来的错误。选择框架和语言可能会受到在阶段 3 中执行的复制工作的驱动。

如果网络将成为较大的框架的一部分，那么这里是检查框架 API 正常工作的好地方。

阶段 5：创建可视化和调试工具

了解模型中发生的情况将会影响项目的成功。木匠有一个说法「测量两次，切割一次」。你应该「编码一次，测量两次」。除了评估输出外，atv，你还应该可视化你的架构并测量内部实体（internal entity），以了解为什么获得这样的结果。离开模型诊断，你将很难解决问题或提高性能。

你应该对与高偏差（收敛于错误的结果）对高方差（收敛差）相关的问题有一个一般的了解，因为每种类型的问题都有不同的解决方案；例如，你可能会用更大的网络修复高偏差问题，但是你可以通过增加训练数据集的大小来处理高方差问题。

可视化你的模型，以便你可以尽可能多地监视架构的进化过程。在可能的情况下，为每次代码修改设置单元测试（unit test）。你应该将训练错误与测试错误进行比较，并将两者与人工表现进行比较。你可能会发现你的网络会表现得很奇怪，你需要确定架构进化中发生的事情以及原因。首先开始调试最差的问题。了解问题是否与训练数据、架构或损失函数有关。

请记住，误差分析会试图解释当前性能与完美性能之间的差异。销蚀分析（ablative analysis）试图解释一些基线表现与当前表现之间的差异。使用一种或另一种或两种分析可能是有用的。

使用 TensorFlow 作为框架的一个动机是它有一个名为 TensorBoard 的可视化系统，它是框架的一部分。你可以从 TensorFlow 输出必要的文件，TensorBoard 可用于可视化你的架构，并监控权重和特征映射（feature map），探索网络创建的嵌入空间（embedded space）。因此，在框架中可用调试和可视化工具。如果使用其它框架，你需要找到这些工具（通常可以在线获得）或创建自己的工具。

阶段 6：微调你的模型

这个阶段可能需要大部分时间。你应该广泛地实验。并且不要仅使用你认为会改善结果的因素，而是尝试改变每一个因素以学习当其变化时发生了什么。改变架构设计、深度、宽度、路径、权重初始化、损失函数等。更改每个超参数，了解提高或降低数值时的效果。我建议使用学习速率范围测试（learning rate range test）[12] 了解你的网络在不同学习速率下的行为。可以进行类似的程序来研究其它超参数的影响。

尝试各种正则化方法，如数据增强（augmentation）、dropout 和权重衰减。泛化（generalization）是深度网络的关键优势之一，所以一定要测试正则化方法，以便最大限度地提高概括不可见情况的能力。

你应该测试损失函数。你在基线中使用了简单的损失函数，但也创建了多个你关心并达到（定义）成功的评估指标。评估指标和损失函数之间的唯一差异在于用于测试数据的测量指标和用于训练网络的训练数据的损失函数。更复杂的损失函数可以产生更成功的结果吗？你可以向损失函数添加加权项，以反映每个指标对结果的重要性。但是要非常小心，不要因不重要的标准而使损失函数复杂化，因为它是你模型的核心。

早些时候，你发现应用程序与现有的深度学习应用程序之间的类比，并选择最接近的作为你的基线。现在比较第二个或第三个最接近的应用程序。如果你按照另一个类比并使用该架构，会发生什么？你能设想结合两者来测试吗？

一开始，你应该从一些容易的取得成功。随着你不断深入，提高性能将变得更加困难。你在阶段 1 中定义的目标将决定你希望的性能改进的程度。或者你可能想要修改之前定义的目标。

阶段 7：端到端训练、集成与其他复杂度

如果你有时间和预算，你可以探索更复杂的方法，实际上有很多复杂的方法可供选择。有大量深度学习的文献，每天都在出现更多的论文。大多数这些论文以一种或另一种方式宣布了新的最先进的结果，有些可能帮助你提升性能。这个部分可以单独作为一份长的报告，因为有这么多架构和其它选择可以考虑，但如果你处于这个阶段，请考虑与具有大量深度学习专长的人交谈，因为在这个阶段的建议可能对你的应用程序是独一无二的。

但是，你可能会考虑两种常用的方法：端到端的训练和集成。