资源 | 详解帝国理工集成工具TensorLayer：控制深度学习开发复杂度

2017-08-02 11:17 来源:机器之心 操作系统

原标题：资源 | 详解帝国理工集成工具TensorLayer：控制深度学习开发复杂度

选自NextPlatform

对于开发者而言，深度学习系统的交互性和复杂度正在增加。从建立不断迭代强化的可扩展性数据集，到更多动态模型，再到神经网络内部更加连续的学习，这使得通过轻量级工具全面管理深度学习开发的需求也越发强大。而 TensorLayer 正是这样一种可管理深度学习开发复杂度的工具。

「甚至在部署之后，新的训练样本、人类的见解以及操作经验会不断出现，因此升级模型并跟踪其变化的能力变得不可或缺。」伦敦帝国理工学院的一个团队说，他们开发了一个库，j2直播，用来管理深度学习开发者在复杂的多项目上做的迭代。「开发者必须用大量的开发周期整合构建神经网络的组件、管理模型生命周期、组织数据，以及调整系统并行性。」

为了更好地管理开发，该团队借助一个通用的 Python 库打造了 TensorLayer，这是一种集成的开发方法，其中所有的元素（操作、模型生命周期、并行计算、失败）被抽象为模块化格式。这些模块中的一个用于管理神经网络层，一个用于管理模型及其生命周期，一个通过为所有系统的训练数据提供统一的表征来管理数据集，另外还有一个工作流模块用于处理容错。顾名思义，TensorFlow 是进行训练和推断的核心平台，数据存储在 MongoDB 中，这是深度学习研究机构的常见设置。

深度学习开发人员利用 TensorLayer 功能写了一个多媒体应用。这些功能包括提供和输入层实现、构建神经网络、管理模型生命周期、构建在线或离线数据集，以及撰写训练计划等，分为四个模块：层、模型、数据集和工作流。

该团队说，尽管 Keras 和 TFLearn 等现有工具很有用，但扩展性不强，不足以应对越来越复杂和不断迭代的网络。它们提供必要的抽象化以降低采用壁垒（adoption barrier），但这样做也对用户掩盖了底层引擎（underlying engine）。尽管从底层调整和修改对 bootstrap 有益，且对于解决很多现实问题很有必要，但这是非常困难的。

与 Keras 和 TFLearn 相比，TensorLayer 不仅提供高水平的抽象化，还提供端到端的工作流，包括数据预处理、训练、后处理、服务模块和数据库管理，这些都是开发者构建整个系统的关键。

TensorLayer 提倡灵活性和可组合性更强的范式：神经网络库可以和私有引擎（native engine）互换。这使得用户可在不丢失可见性的情况下轻松使用预构建模块。该非侵入式本质也使得合并其他 TF 包装器，如 TF-Slim 和 Keras 变得可行。但是，该团队认为灵活性不能以性能为代价。

此团队在以下论文中重点强调了许多应用，开奖，也详细介绍了每一个模块、整体架构和发展现状。这些应用包括生成对抗网络（generative adversarial network）、深度强化学习（deep reinforcement learning），以及终端用户环境的超参数调节。TensorLayer，自去年从 GitHub 发布后，还被用于多模型研究、图像变换和医学信号处理。

TensorLayer 正处在一个主动发展的阶段，而且已经从开放社区接收到大量的贡献性工作。它已经被帝国理工学院、卡内基梅隆大学、斯坦福大学、清华大学、加州大学洛杉矶分校、瑞典林雪平大学等高校的研究人员，以及谷歌、微软、阿里巴巴、腾讯、ReFULE4、彭博等公司的工程师广泛使用。

论文：TensorLayer: A Versatile Library for Efficient Deep Learning Development

论文地址：https://arxiv.org/abs/1707.08551

项目地址：https://github.com/zsdonghao/tensorlayer

深度学习强力地推动了计算机视觉、自然语言处理和多媒体等领域的发展。然而开发一个深度学习系统通常十分困难和复杂，因为它经常涉及到构建神经网络架构、管理正在训练或已训练的模型、调整优化过程、预处理和组织数据等过程。TensorLayer 是一个通用型的 Python 库，旨在帮助研究者和工程师高效地开发深度学习系统。它为神经网络、模型和数据管理、并行工作流机制提供了丰富的抽象化方法。TensorLayer 在提升效率的同时，它还保留性能和可扩展性。TensorLayer 先前已经发布在 Github 上，并且已经帮助很多学术研究员和工业应用者开发深度学习现实应用。