参与:李亚洲、蒋思源 在这篇文章中,作者根据自己的经验为 TensorFlow 初学者给出了设计文件、文件夹架构的建议。在管理自己的项目时,这会是非常有帮助的。 在机器学习中,设计正确的文件架构并不简单。我自己在几个项目上纠结过此问题之后,atv,我开始寻找简单的模式,并希望其能覆盖大部分在读代码或自己编代码时遇到的使用案例。 在此文章中,我会分享我自己的发现。 声明:该文章更像是建议,而非明确的指导,但我感觉挺成功的。该文章意在为初学者提供起点,可能会引发一些讨论。因为一开始我想要为自己的工作设计文件架构,我想我能分享下这方面的内容。如果你有更好的文件架构理论,可以留言分享。 总需要得到什么? 需要编写一个模型 该模型(至少)有两个不同的阶段:训练阶段和推论阶段(成果) 需要为该模型输入数据集(训练阶段) 可能也需要为它输入单个元素(推论阶段) 需要调整它的超参数 精调超参数,需要模型是可配置的,并创造一个类似「API」的存在,至少能让你推动配置的运行 训练结果需要好的文件夹(folder)架构(以便于浏览并轻易的记住每个实验) 需要用图表示一些指标,比如损失或准确率(在训练以及成果阶段) 想要这些图能够轻易地被搜索到 想要能够复制所做的任何实验 甚至在训练阶段希望跳回前面,以检查模型 在构造文件和文件夹时,很容易就会忘记以上这些。此外,可能还有其他需求我并未列出。下面,让我们寻找一些最好的实践。 整体文件夹架构 一图胜千言: 文件架构 README 文件:大部分人可能使用 Github,所以请花费些时间,写一个至少包含以下选项的好的 markdown:安装、使用、测试、有用的链接,来记录要直接放进 repository 的大型文件。 main.py 文件:独特的 endpoint,简单。下面会有更详细的介绍。你也可以用两个文档做为变形(train.py/infer.py)。但在我看来不必要,它通常用来为每个文件建立两个 API。 数据文件夹:创造一个文件夹,并放进一个脚本来下载数据集。如果需要,让脚本很好地适配数据文件夹,例如:如果没有的话,脚本可以创造 trian/val/test 子文件夹。 模型文件夹:该文件夹用来放模型文件。我认为不只有一种方式可处理这个文件夹,你可以为每个模型或每个模型类别写个文件,甚至可以有一个子文件夹。只要保持一致就行。 __init__ file:下面我会对该文件介绍更多,但它是一个 python 助手(helper),能让你更容易找到模型,且简化了模型文件夹的复杂度。 basic_model.py 文件:下面也会对此有所详介。我认为 TensorFlow 中的大部分模型能共享一个通用架构,后文我会解释自己的选择以及原因。 hysearch 文件夹:该文件夹用来存放任何做自定义超参数搜索的助手。如果你使用函数库,可能就不需要它,但大多时候你总需要自定义些东西。保持这些功能的纯粹与单独性,以便于能简单地进行测试。 测试文件夹:测试文件夹,当然是用来测试的。你会测试它们,对吧? 结果文件夹:很明显,该文件夹是用来放结果的。TensorFlow 中更多有关如何提供 TensorBorad 的子文件夹架构的信息,下面很有所介绍。 注释:请在结果文件夹中添加一个「.gitkeep」文件和为「.gitignore」文件添加一个文件夹。因为你也许不希望将所有试验都放到 Github 上,开奖,并需要避免代码在首次安装时因为文件夹丢失而中断。 这些都是十分基础的。当然,也许还需要添加其他文件夹,但那些都能归结到这一基本集中。 通过将良好的 README 和其他 bash 脚本作为辅助。任何人希望使用你的资源库(repository)都可以通过「Install」命令和「Usage」命令复制你的研究。 基本模型 (责任编辑:本港台直播) |