Boosting 是一种集成技术，它可以将弱学习器结合起来创造出一个能够进行准确预测的强大学习器。Boosting 开始于在训练数据上准备的基本分类器/弱分类器。

基本学习器/分类器是弱学习器，即预测准确度仅略好于平均水平。弱是指当数据的存在小变化时，会引起分类模型出现大的变化。

在下一次迭代中，新分类器将重点放在那些在上一轮中被错误分类的案例上。

图 5：Boosting 方法

2.2.2.1 自适应 boosting——Ada Boost

Ada Boost 是最早的 boosting 技术，其能通过许多弱的和不准确的规则的结合来创造高准确度的预测。其中每个训练器都是被串行地训练的，其目标在每一轮正确分类上一轮没能正确分类的实例。

对于一个学习过的分类器，如果要做出强大的预测，其应该具备以下三个条件：

规则简单

分类器在足够数量的训练实例上进行了训练

分类器在训练实例上的训练误差足够低

每一个弱假设都有略优于随机猜测的准确度，即误差项 ，开奖 (责任编辑：本港台直播)