【新智元导读】新智元之前发布周志华老师的引起了广泛关注和讨论。本文作者Ji Feng正是该论文的参与者，他在知乎上对这篇论文的评论做了几点评价，例如：没有BP到底行不行？端到端不是模型能够work的必要条件。

　　【Ji Feng】：作为论文参与者之一，我做的很有限，在这里擅自谈谈我个人对周老师gcForest的一点愚钝看法。这里声明：所有观点仅仅代表我个人。

　　先说几点个人的结论：

　　1. 这是一个Deep Model，只不过building blocks是决策树。

　　这篇工作不是来砸深度学习的场子的，深度学习蛮好，而基于神经网络的深度模型探索的差不多了，直播，我们想探索一下基于树的深度模型的可能。

　　个人认为没有合理理由能够否定基于决策树的深度模型的尝试是徒劳，而决策树的集成本身具有很多神经网络所不具备的性质，所以花一些时间和精力进行研究是很值得的事情（至少比调参强）。

　　2. 这只是个开始。

　　决策树有很多蛮恐怖的性质，目前我只想说其实我们对森林的力量一无所知，里面的潜力巨大，有待开发。深度学习从06年提出到12年，中间花了差不多6年的时间不断发扬光大，如果指望一篇文章就能搞定这么多年，这么多学者，以及这么多资金的事情，这也是不可能的。

　　3. 性能

　　很抱歉，出于我个人的懒惰，没怎么调整这个森林的结构。因为我们注重的是通用性。

　　前一阵又大致把森林复杂度做了一下，MNIST是99.39%（上升余地依然存在，因为我仅仅把森林double了一下），我知道很多做视觉的朋友觉得CIFAR/ImageNet应该跑，这里稍微说几句：

　　a) 做视觉的朋友觉得CIFAR/ImageNet的模型性能是宇宙中心，但其实并不是做机器学习的人的中心，在这篇工作中，我们更关注一个通用的框架。

　　b) 也想跑来着，但是没有实现分布式算法，而我的单机内存有限，后来还是优化了一下程序，CIFAR10是能跑起来了，每加一块儿内存条，性能往上走4个点，目前单机能到70%。AlexNet是83%，相比之下有10%的差距。但是请注意：深度全链接神经网络（MLP)是47%，Alex用Deep Belief Network（这可是深度学习的第一个重要模型）在cifar10上是65%， 而其他所有非神经网络的模型都是55%以下（如果对输入不作任何变化的话）。我个人揣度作为deep forest的第一篇工作，这个结果也算是够了?(至少比深度限制玻尔兹曼机的性能和普适性强点儿？)

　　c) 这是第一篇工作，目的是提出一个较为通用的框架和方向，未来会有基于计算机视觉应用的专门优化。

　　d) 你们谁送我几块儿内存条使使？

　　其他的内容，请大家看周老师的论文原文就好了。

　　再回应一些评论：

　　1. “没有BP肯定不行。”

　　很抱歉，这个不大同意。BP是一个很棒的算法，也在我个人最喜欢的算法top5。BP在神经网络中很重要，但是，如果认为没有BP肯定不行，那就有些思维定势了，类似于没有翅膀就不能上天 这种论断。飞上天的不仅仅有鸟和飞机，还有火箭。

　　举个栗子：

　　虽然不是做神经网络的，但是也清楚有不少现成的神经网络模型没有BP，比如大名鼎鼎的NEAT。（如果我没记错的话，有一个GAN 的工作就是用NEAT做的G？)

　　再举个稍微跑题的栗子：

　　上个月OpenAI的Evolution Strategies as a Scalable Alternative to Reinforcement Learning （这个标题很酷啊，偷笑）

　　...No need for backpropagation. ES only requires the forward pass of the policy and does not require backpropagation (or value function estimation), which makes the code shorter and between 2-3 times faster in practice.

　　所以其实BP在很多任务里并不是加分项，并不是说少了BP就玩儿不转了。

　　有不少做神经网络的大神也一直在尝试做一些取代BP的事情，这个不是什么密事：连我都知道。

　　2. “无法feature transfer。”

　　抱歉，这个也大不同意。自己觉得没法做，和别人也没法做是两回事... 这个现在还不能讲太多。

　　3. “无法End to End。”

　　这也算是深度学习从业者里面常见的一个cliché. 类似于BP，E2E不是模型能够work的必要条件。另外说句题外话，如果看机器学习的历史的话，有很多非神经网络的e2e模型并不work的。。

　　4. “希望在这个浮躁的年代，每个人尤其是研究者保持独立思考，不要人云亦云。不忘初心，方得始终。”

　　这句话本身说的很对。我很赞成。

　　需要商榷的是：什么是始，什么是终，什么又是初心呢？

　　为了准确度，在神经网络上反复调参的难言之隐，这，是初心吗？

　　两年前的Embedding + Everything，atv， 一年前的GAN + Everything 而写出来上千篇文章，这，是初心吗？

　　拿着榔头满世界找钉子而写出来的上万篇应用，这，是初心吗？

　　把深度神经网络炒作成强人工智能时代的来临，用一些具有误导性的demo来“展示”机器已经具备了人类的情感，这，是初心吗？

　　个人认为，不同的群体，初心应该是不一样的：