集成学习之Xgboost(17)

当前位置:

J

个最优的叶子节点区域，如何求出每个叶子节点区域的最优解

w_{j}

？

2) 对当前决策树做子树分裂决策时，应该如何选择哪个特征和特征值进行分裂，使最终我们的损失函数 $L$ 最小？

对于第一个问题，其实是比较简单的，直接基于损失函数对 $w_{j}$ 求导并令导数为0得到： $G_{i} + (H_{i} + λ) w_{j} = 0$

从而可得到叶子节点区域的最优解 $w_{j}$ 表达式：

w_{j}^{*} = - \frac{G_{j}}{H_{j} + λ}

【补充】这个叶子节点的表达式不是XGBoost首创，实际上在GBDT的分类算法里，已经在使用了。大家在GBDT算法介绍中叶子节点区域值的近似解(2.3)步计算最佳拟合值 $c_{t i}$ ：

c_{t j} = \sum_{x_{i} \in R_{t j}} r_{t i} / \sum_{x_{i} \in R_{t j}} | r_{t i} | (1 - | r_{t i} |)

它其实就是使用了上式来计算最终的 $c_{t j}$ 。例如回顾二元分类的损失函数是： $L (y, f (x)) = l o g (1 + e x p (- y f (x)))$

其每个样本的一阶导数为： $g_{i} = - r_{i} = - y_{i} / (1 + e x p (y_{i} f (x_{i})))$

栏目列表

最新更新