译者：闻菲、刘小芹、张易

　　新智元启动新一轮大招聘：COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等 9 大岗位全面开放。

　　简历投递：j[email protected]

　　HR 微信：13552313024

　　新智元为COO和执行总编提供最高超百万的年薪激励；为骨干员工提供最完整的培训体系、高于业界平均水平的工资和奖金。

　　加盟新智元，与人工智能业界领袖携手改变世界。

　　【新智元导读】西瓜书《机器学习》作者、南京大学周志华日前发表论文，提出了一种基于树的方法，挑战深度学习。在设置可类比的情况下，新方法 gcForest 取得了和深度神经网络相当甚至更好的结果，而且更容易训练，小数据也能运行，更重要的是相比神经网络，基于树的方法不会存在那么困难的理论分析问题。周志华和冯霁在论文里写道，“我们认为，要解决复杂的问题，学习模型也需要往深了去。然而，当前的深度模型全部都是神经网络。这篇论文展示了如何构建深度树（deep forest），为在许多任务中使用深度神经网络之外的方法打开了一扇门”。【进入新智元公众号，在对话框输入“170302”下载论文】

　　深度神经网络的巨大成功掀起了一股深度学习热潮。

　　或许，这股热潮有些“太热”了。

　　就在这周，南京大学机器学习与数据挖掘研究所（LAMDA）负责人周志华教授将他和 LAMDA 博士生冯霁写的论文《深度森林：探索深度神经网络以外的方法》（Deep Forest: Towards An Alternative to Deep Neural Networks）上传到 arXiv。可以说，是用实际行动为这股热潮降了降温。

　　深度学习，或者说深度神经网络有一些明显的缺陷，除了我们都知道的必须要有大数据、大算力，他们在论文中写道，

　　“众所周知，表征学习（representation learning）能力对于深度神经网络至关重要。还应注意，为了利用大规模训练数据，学习模型的容量（capacity）应该很大；这一点非常好的说明了相比普通的学习模型，比如支持向量机，深度神经网络十分复杂的原因。

　　“我们推测，若能将这些属性赋予其他一些形式合适的学习模型，我们可以在抛开上述缺陷的情况下，实现和深度神经网络相当的性能。”

　　由此，周志华和冯霁提出了一种基于树的新方法——gcForest，用文中的术语说，就是“multi-Grained Cascade forest”，多粒度级联森林。此外，他们还提出了一种全新的决策树集成方法，使用级联结构让 gcForest 做表征学习。实验中，gcForest 使用相同的参数设置，在不同的域中都获得了优异的性能，并且无论是大规模还是小规模的数据，表现都很好。此外，由于是基于树的结构，gcForest 相比神经网络也更容易分析。

　　那么，作者是打算用 gcForest 取代深度学习？

　　答案是否定的。正如他们在论文中所说：

　　“我们认为，要解决复杂的问题，学习模型也需要往深了走。然而，当前的深度模型全部都是神经网络。这篇论文展示了如何构建深度树（deep forest），为在许多任务中使用深度神经网络之外的方法打开了一扇门。”

　　向着深度学习以外的方法进军

　　下面是新智元对论文《深度森林：探索深度神经网络以外的方法》的摘译。要查看完整的论文，参见文末的论文地址。

摘要

　　在这篇论文里，我们提出了 gcForest，这是一种决策树集成方法（decision tree ensemble approach），性能较之深度神经网络有很强的竞争力。深度神经网络需要花大力气调参，相比之下 gcForest 要容易训练得多。实际上，在几乎完全一样的超参数设置下，gcForest 在处理不同领域（domain）的不同数据时，也能达到极佳的性能。gcForest 的训练过程效率高且可扩展。在我们的实验中，它在一台 PC 上的训练时间和在 GPU 设施上跑的深度神经网络差不多，有鉴于 gcForest 天然适用于并行的部署，其效率高的优势就更为明显。此外，深度神经网络需要大规模的训练数据，而 gcForest 在仅有小规模训练数据的情况下也照常运转。不仅如此，作为一种基于树的方法，gcForest 在理论分析方面也应当比深度神经网络更加容易。

　　引言