集成学习之AdaBoost算法(8)

当前位置:

w_{k + 1, i} = \frac{w_{k i}}{Z_{K}} e x p (- α_{k} y_{i} G_{k} (x_{i})) i = 1, 2, . . . m

这里 $Z_{k}$ 是规范化因子：

Z_{k} = \sum_{i = 1}^{m} w_{k i} e x p (- α_{k} y_{i} G_{k} (x_{i}))

3) 构建最终分类器为：

f (x) = s i g n (\sum_{k = 1}^{K} α_{k} G_{k} (x))

对于Adaboost多元分类算法，其实原理和二元分类类似，最主要区别在弱分类器的系数上。比如Adaboost SAMME算法，它的弱分类器的系数：

α_{k} = \frac{1}{2} l o g \frac{1 - e_{k}}{e_{k}} + l o g (R - 1)

其中R为类别数。从上式可以看出，如果是二元分类，R=2，则上式和我们的二元分类算法中的弱分类器的系数一致。

7. 总结

到这里Adaboost分类问题差不多结束了，前面有一个没有提到，就是弱学习器的类型。理论上任何学习器都可以用于Adaboost，但一般来说，使用最广泛的Adaboost弱学习器是决策树和神经网络。对于决策树，Adaboost分类用了CART分类树，而Adaboost回归用了CART回归树。

Adaboost的优点有：

1）Adaboost作为分类器时，分类精度很高；

2）在Adaboost的框架下，可以使用各种回归分类模型来构建弱学习器，非常灵活；

3）作为简单的二元分类器时，构造简单，容易实施，结果可理解；

4）不容易发生过拟合。

Adaboost的缺点有：

1）对异常样本敏感，异常样本在迭代中可能会获得较高的权重，影响最终的强学习器的预测准确性。

【补充】：文章开头有提到Adaboost既可以用作分类，也可以用作回归，本文主要针对Adaboost二分类问题做了详细介绍，关于Adaboost回归问题，可以参考https://www.cnblogs.com/pinard/p/6133937.html这篇博客，解释的很详细。