MultiNet模型分析

　　MultiNet能够同时完成道路分割、汽车检测和道路分类的任务。MultiNet模型的实时存档速度和分割性能都处于最先进水平。详细的模型描述请查阅我们的论文。

　　优化后的MultiNet模型在实时速度下表现良好，其要素KittiSeg在道路分割方面设置了一项新的最先进技术，而另一要素KittiBox在推理速度和检测性能上对基线Faster-RCNN进行了改进。

该模型被设计为encoder-decoder架构，在每项任务中使用一个VGG编码器和几个独立解码器。此存储库包括允许在一张网络中将几个tensorflow模型的通用代码组合在一起，不可视任务的代码由KittiSeg、KittiBox和KittiClass存储库提供，这些存储库在该项目中作为子模块。该项目的构建旨在与TensorVision后端兼容，后端能够以十分简洁的方式组织实验。

要求

　　代码需要Tensorflow 1.0版本以及以下python库：

matplotlib

numpy

Pillow

scipy

runcython

　　这些模块可以通过以下代码进行安装：

　　pip install numpy scipy pillowmatplotlib runcython or pip install -r requirements.txt。

建立

　　1、克隆该存储库：https://github.com/MarvinTeichmann/MultiNet.git

　　2、将所有子模块初始化：git submodule update--init --recursive

　　3、通过 'cd submodules / KittiBox /submodules / utils / && make构建cython代码

　　4、[可选]下载KittiRoad数据：

　　ⅰ. 这里检索 kitti 数据url网址: ?file=data_road.zip

　　ⅱ.指令python download_data.py --kitti_url URL_YOU_RETRIEVED

　　5、[可选]运行cdsubmodules / KittiBox / submodules / KittiObjective2 / && make构建Kitti评估代码（更多详细信息请参阅子模块/ KittiBox /submodules / KittiObjective2 / README.md）

　　使用demo.py运行模型只需要完成步骤1至3。只有当您想使用train.py训练模型时，才需要步骤4和5。需要注意的是，我建议使用download_data.py，而不是自行下载数据。该脚本还将提取并准备相应的数据。如果您想控制数据的存储位置，请参阅“管理数据存储”这部分内容。

教程

　　入门

　　运行：python demo.py --gpus 0 --inputdata / demo / um_000005.png使用demo.png作为输入指令以获取预测信息。

　　运行：python evaluate.py对一个训练模型进行评估。

　　运行：python train.py --hypes hypes /multinet2.json训练一个multinet2模型

　　如果您想理解这些代码，我建议先查看demo.py。我已经在文件中尽可能地记录下每个步骤。

　　只有MultiNet3（同时完成检测和分割任务）的训练是开箱即用的。用于训练分类模型的数据是不公开的，不能用于训练完整的MultiNet3（用于检测、分割和分类任务）模式。完整的代码已在此提供，因此，如果您有自己的数据，您仍然可以训练MultiNet3模型。

　　管理数据存储

　　MultiNet允许将数据存储与代码分离。这在许多服务器环境中非常受用。默认情况下，atv直播，开奖，数据存储在MultiNet / DATA文件夹和MultiNet / RUNS中运行输出。可以通过设置bash环境变量$ TV_DIR_DATA和$ TV_DIR_RUNS来更改此行为。

　　在.profile中，包括导出TV_DIR_DATA =“/ MY / LARGE / HDD / DATA”在内，所有数据将被下载到/ MY / LARGE / HDD / DATA /。在您的.profile中包括导出TV_DIR_RUNS =“/ MY / LARGE / HDD / RUNS”，所有运行将保存到/ MY / LARGE / HDD / RUNS / MultiNet

　　修改模型并在您自己的数据上进行训练

　　该模型由文件hypes / multinet3.json控制。此文件将代码指向对子模型的实现过程中。使用MultiNet代码，将已提供的所有模型进行加载，并将解码器集成到一个神经元网络中。要在您自己的数据上进行训练，足以修改子模型的hype文件。从KittiSeg入手将是最佳选择，KittiSeg是有据可查的。

　　RUNDIR和实验组织

　　MultiNet可帮助您组织大量实验。为此，每次运行的输出都存储在MultiNet的rundir中。每个rundir包含：

output.log 打印到屏幕上的一个训练输出副本

tensorflowevents可在rundir中运行

tensorflow checkpoints，训练模型可从rundir中加载

[dir]images一个包含示例输出图像的文件夹。 image_iter控制整个验证集的转储频率

[dir] model_files为构建模型所需的所有源代码的副本。如您有很多版本的模型，此项操作对您是很有帮助的。