实际上我一直不懂，为什么深度神经网络这么火，而迄今为止大多数 Kaggle 竞赛中用得最多最好的算法是 xgboost 呢？虽然神经网络对于图像处理类的问题很好用，对于更多机器学习问题，决策树的方法性能更好，也更容易部署。

　　＞ HN 用户 BickNowstrom：

　　神经网络火是有原因的。神经网络的重大发展带来了 NLP、计算机视觉、结构化数据、机器翻译、风格转移等等准确率的提升。

　　XGBoost 从“Greedy function approximation: A gradient boosting machine”这篇论文开始就没怎么变过，但通过一些小的改善变得更快了，也更方便调参。

　　我觉得 Tensorflow / Keras 可以处理更多种类的问题，比基于树的方法具有相同的或更高的准确性。NN对结构化问题（这块是基于树的方法的主场）做得很好，但也适用于计算机视觉和 NLP。

　　确实，基于树的方法在学术上有些过时，激动人心的都在神经网络领域里面。做深度学习更容易发表（以前可是倒过来的）。

　　＞＞ HN 用户 throw_away_777：

　　我同意神经网络是最先进的，在某些类型的问题（NLP和视觉，这些都是很重要的问题）上做得很好。但是，很多数据是结构化的（销售、推荐等等），并且xgboost模型比神经网络模型更容易训练。训练神经网络你需要非常昂贵的计算机或者昂贵的云计算，而且即使用上了训练起来也不容易。 易于部署是学术界忽略的一个重要因素。在非NLP和非图像数据集上，通常最佳的 Kaggle 模型就是 xgboost 模型，而且开发 xgboost 花费的时间是开发好神经网络模型的 1/10。Xgboost自从第一次推出以来已经走了很长的路，早期停止改进本身就是一个重大改进的例子。

　　算法不是很复杂，期待在大数据集上的结果

　　【作者：田渊栋，Facebook 人工智能实验室】

　　整个算法看起来不是很复杂。

　　1. 类似以前Stacking的做法，即每一层都用label进行训练，训练完了再叠一层继续训练。加了Complete Random Forest很有意思，个人理解是生成了一些看似无关，但对将来的预测有好处的特征。如果实验里面能做些ablation analysis就好了。

　　2. 用了一些shortcut-connection，把几层前的数据拿过来连上上一层的输出一起作为这一层Forest的输入。

　　3. Multi-Grained Scanning这部分非常像1D和2D convolution。

　　另外实验还只是在小规模数据集上做的，期待CIFAR甚至是ImageNet的结果。深度学习这里也有一直在提但是一直效果不怎么好的Layer-by-Layer训练的思路，如果这个思路能在大数据集上做好，那确实是大突破了。

　　知乎原文链接：https://www.zhihu.com/question/56474891/answer/149427631

　　开启了很好的方向，但要真的 Alternative，还有很多要研究

　　【作者：邱锡鹏，复旦大学计算机科学技术学院副教授】

　　首先，这篇论文的内容就不细说了，很多人也作了很细致的分析。创新在于两方面：1）思想上，深度学习也可以不用千篇一律的神经网络，而采用其它浅层的分类器。2）方法上，采用了级联+集成的方法来实现了一个深度随机森林。我估计很多研究者也都有1的想法（其实我就有过），但能找到一个实现方法估计也只有周老师他们能做出来了，这里面确实需要有大量的集成学习技术。

　　下面说下我的观点（是否 Alternative）：

　　1）深度网络和神经网络的解构

　　其实，现在深度学习已经不再仅仅是多层神经网络了。现在的很多深层模型一般有一个比较复杂的架构，包含几个部件。每个部件分别由神经网络来实现。比如Neural Turing Machine，再比如AlphaGo。在这些复杂模型里神经网络已经部件化。

　　记得最早2014年时读了Jason Weston的论文[1410.3916] Memory Networks。作者构建了一个记忆网络的框架，每个部件可以是SVM或决策树等。当时觉得作者的想法太疯狂了，脑洞大开。但是，最后实现时还是采用了神经网络（原因见下）。

　　2）End-to-End训练和Layer-wise训练

　　当实现一个复杂的系统（比如问答系统）时，我们一般的想法是分解，有助于我们理解，然后一步步来实施。这里面有两个问题，一是这些分解的部件是松耦合，必须单独训练，且每个部件的优化目标和最终的系统目标并不完全一致。二是错误传播问题。神经网络出现以后这些问题都迎刃而解了，因为这些部件都可以是神经网络，并且还可以连起来一起End-to-End训练，因此最大的痛点消失。