TensorBoard 是可视化和探索模型训练的一种优秀工具。因为 TensorBoard 具有良好的交互性,你会发现它非常易于使用,因为这意味着不需要配置大量 matplotlib 函数来了解训练。我们只需要在代码的 tensor 上加入 tf.summary。 Edward 默认记录了大量摘要,以便可视化训练迭代中损失的函数值、渐变和参数的变化。TensorBoard 还包括经过时间的比较,也为充分修饰的 TensorFlow 代码库提供了很好的计算图。对于无法只用 TensorBoard 进行诊断的棘手问题,我们可以在 out/目录中输出内容并检查这些结果。 调试错误信息。我的调试工作流非常糟糕。对此,我在代码中嵌入打印语句并通过消去过程来寻找错误。这种方法非常原始。虽然还没有尝试过,但我听说 TensorFlow 的 debugger 功能非常强大。 提升研究理解 不断考研你的模型与算法,通常,学习过程会让你对自己的研究和模型有更好的了解。这可以让你回到制图板上,重新思考自己所处的位置,寻求进一步提升的方法。如果方法指向成功,我们可以从简单的配置逐渐扩大规模,试图解决高维度的问题。 从更高层级上看,工作流在本质上就是让科学方法应用到真实世界中。在实验过程中的每一次迭代里,抛弃主要想法都是不必要的。但另一方面,这一切的理论基础必须稳固。 在这个过程中,实验并不是孤立的。合作、与其他领域的专家沟通、阅读论文、基于短期以及长期角度考虑问题、参加学术会议都有助于拓宽你看待问题的思路并能帮助解决问题。 说明 本工作流主要用于实证研究,但其中的一些方法是值得其他任务参考的。 主文档结构的模板可以参考:https://github.com/dustinvtran/latex-templates 参考文献 1. Gelman, A., & Shalizi, C. R. (2012). Philosophy and the practice of Bayesian statistics. British Journal of Mathematical and Statistical Psychology, 66(1), 8–38. 2. Pearl, J. (2000). Causality. Cambridge University Press. 3. Wainwright, M. J., & Jordan, M. I. (2008). Graphical Models, Exponential Families, and Variational Inference. *Foundations and Trends in Machine Learning, 1(1–2), 1–305. (责任编辑:本港台直播) |