每个级是决策树森林的一个集合，即集成的集成（ensemble of ensembles）。我们包含了不同类型的森林来鼓励多样性，因为众所周知，多样性是集合结构的关键[Zhou，2012]。简单起见，在我们的实现中，我们使用了两个完全随机的树森林（complete-random tree forests）和两个随机森林[Breiman，2001]。每个完全随机的树森林包含1000个完全随机树[Liu et al。，2008]，通过随机选择一个特征在树的每个节点进行分割实现生成，树一直生长，直到每个叶节点只包含相同类的实例或不超过10个实例。类似地，每个随机森林也包含1000棵树，通过随机选择√ d 数量的特征作为候选（d是输入特征的数量），然后选择具有最佳 gini 值的特征作为分割。每个森林中的树的数值是一个超参数，这将在2.3节中讨论。

　　给定一个实例，每个森林会通过计算在相关实例落入的叶节点处的不同类的训练样本的百分比，然后对森林中的所有树计平均值，以生成对类的分布的估计。如图2所示，其中红色部分突出了每个实例遍历到叶节点的路径。

　　图2：类向量生成图示。叶节点中的不同标记表示了不同的类。

　　被估计的类分布形成类向量（class vector），该类向量接着与输入到级联的下一级的原始特征向量相连接。例如，假设有三个类，则四个森林每一个都将产生一个三维的类向量，因此，级联的下一级将接收12 = 3×4个增强特征（augmented feature）。

　　为了降低过拟合风险，每个森林产生的类向量由k折交叉验证（k-fold cross validation）产生。具体来说，每个实例都将被用作 k ? 1 次训练数据，产生 k ? 1 个类向量，然后对其取平均值以产生作为级联中下一级的增强特征的最终类向量。需要注意的是，在扩展一个新的级后，整个级联的性能将在验证集上进行估计，如果没有显着的性能增益，训练过程将终止；因此，级联中级的数量是自动确定的。与模型的复杂性固定的大多数深度神经网络相反，gcForest 能够适当地通过终止训练来决定其模型的复杂度。这使得 gcForest 能够适用于不同规模的训练数据，而不局限于大规模训练数据。

　　2.2 多粒度扫描（Multi-Grained Scanning）

　　深度神经网络在处理特征关系方面是强大的，例如，卷积神经网络对图像数据有效，其中原始像素之间的空间关系是关键的。（LeCun et al., 1998; Krizhenvsky et al., 2012），递归神经网络对序列数据有效，其中顺序关系是关键的（Graves et al., 2013; Cho et al.，2014）。受这种认识的启发，我们用多粒度扫描流程来增强级联森林。

　　图3：使用滑动窗口扫描的特征重新表示的图示。 假设有三个类，原始特征是400-dim，滑动窗口是100-dim。

　　如图3所示，滑动窗口用于扫描原始特征。假设有400个原始特征，并且使用100个特征的窗口大小。对于序列数据，将通过滑动一个特征的窗口来生成100维的特征向量；总共产生301个特征向量。如果原始特征具有空间关系，比如图像像素为400的20×20的面板，则10×10窗口将产生121个特征向量（即121个10×10的面板）。从正/负训练样例中提取的所有特征向量被视为正/负实例；它们将被用于生成如 2.1节中所说的类向量：从相同大小的窗口提取的实例将用于训练完全随机树森林和随机森林，然后生成类向量并连接为转换后的要素。如图3所示，假设有3个类，并且使用100维的窗口；然后，每个森林产生301个三维类向量，导致对应于原始400维原始特征向量的1,806维变换特征向量。

　　图3仅仅表示了一个滑动窗口的大小。通过使用多个尺寸的滑动窗口，最终的变换特征矢量将包括更多的特征，如图4所示。

　　实验及结果

　　图4：gcForest的整体流程。假设有三个类要预测，原始特征是400-dim，使用了三个尺寸的滑动窗口。

　　人脸识别结果对比

　　音乐分类结果对比

　　手部运动识别结果对比

　　情感分类结果对比

　　结论