集成学习之Xgboost(2)

当前位置:

首页 > temp > 简明python教程 >

集成学习之Xgboost(2)

(x_{i}, r_{t i}) (i = 1, 2, . . m)

，即

{(x_{1}, r_{t 1}), . . ., (x_{i}, r_{t i})}

，拟合一颗CART回归树,得到第t颗回归树。其对应的叶子节点区域为

R_{t j}, j = 1, 2, . . ., J

。其中J为回归树t的叶子节点的个数。

(2.3)对叶子区域j =1,2,..J,计算最佳拟合值：

c_{t j} = \underset{c}{a r g m i n} \sum_{x_{i} \in R_{t j}} L (y_{i}, f_{t - 1} (x_{i}) + c)

(2.4)更新强学习器：

f_{t} (x) = f_{t - 1} (x) + \sum_{j = 1}^{J} c_{t j} I (x \in R_{t j})

3) 得到最终的回归树，即强学习器f(x)的表达式：

f (x) = f_{T} (x) = f_{0} (x) + \sum_{t = 1}^{T} \sum_{j = 1}^{J} c_{t j} I (x \in R_{t j})

从上面可以看出，对于GBDT的第t颗决策树，先是得到负梯度(2.1)，或者是泰勒展开式的一阶导数；然后是第一个优化求解(2.2)，即基于残差拟合一颗CART回归树，得到J个叶子节点区域；再然后是第二个优化求解(2.3)，在第一个优化求解的结果上，对每个节点区域再做一次线性搜索，得到每个叶子节点区域的最优取值；最终得到当前轮的强学习器(2.4)。

从上面可以看出，我们要求解这个问题，需要求解当前决策树最优的所有J个叶子节点区域和每个叶子节点区域的最优解 $c_{t j}$

栏目列表