集成学习之AdaBoost算法(3)

当前位置:

首页 > Python基础教程 >

集成学习之AdaBoost算法(3)

yiGk(xi)<0

y i G k (x i) < 0

，导致样本的权重在第k+1个弱分类器中增大，如果分类正确，则权重在第k+1个弱分类器中减少.具体为什么采用样本权重更新公式，我们在讲Adaboost的损失函数优化时再讲。

最后是集合策略。Adaboost分类采用的是加权表决法，构建基本分类器的线性组合：

f (x) = \sum_{k = 1}^{K} α_{k} G_{k} (x)

最终的强分类器为：

G (x) = s i g n (f (x)) = s i g n (\sum_{k = 1}^{K} α_{k} G_{k} (x))

4. AdaBoost分类问题的损失函数优化

分类问题的Adaboost的弱学习器权重系数公式和样本权重更新公式，可以从Adaboost的损失函数推导出来。Adaboost是模型为加法模型，学习算法为前向分步学习算法，损失函数为指数函数的分类问题。

首先AdaBoost算法的最终模型表达式为：

f (x) = \sum_{m = 1}^{M} α_{k} G_{k} (x)

可以看到这是一个“加性模型(additive model)”。我们希望这个模型在训练集上的经验误差最小，即：

m i n \sum_{i = 1}^{N} L (y_{i}, f (x)) <=> m i n \sum_{i = 1}^{N} L (y_{i}, \sum_{i = 1}^{M} α_{m} G_{m} (x))

通常这是一个复杂的优化问题。前向分步算法求解这一优化问题的思想就是: 因为最终模型是一个加性模型，如果能从前往后，每一步只学习一个基学习器 $G_{m} (x)$ 及其权重 $α_{m}$ , 不断迭代得到最终的模型，那么就可以简化问题复杂度。具体的，当我们经过 $m - 1$ 轮迭代得到了最优模型 $f_{m - 1} (x)$ 时，由前向分步算法可知：

f m (x) = f m - 1 (x) + α m

栏目列表