其每个样本的二阶导数为：hi=exp(yif(xi)(1+exp(yif(xi))2=|gi|(1−|gi|)$h_i=\frac{exp(y_{i}f(x_i)}{(1+exp(y_{i}f(x_i){)}^2}=|g_i|(1-|g_i|)$

由于没有正则化项，则ctj=−gihi$c_{tj}=-\frac{g_i}{h_i}$，即可得到GBDT二分类叶子节点区域的近似值。

现在我们回到XGBoost，我们已经解决了第一个问题。现在来看XGBoost优化拆分出的第二个问题：如何选择哪个特征和特征值进行分裂，使最终我们的损失函数L$L$最小？在GBDT里面，我们是直接拟合的CART回归树，所以树节点分裂使用的是均方误差。XGBoost这里不使用均方误差，而是使用贪心法，即每次分裂都期望最小化我们的损失函数的误差。

注意到在wj$w_j$取最优解的时候，原损失函数对应的表达式为：

 Obj代表了当指定一个树的结构的时候，在目标上面最多减少多少。结构分数(structure score)，这里结构分数越小代表这颗树的结构越好。

1) 树结构的打分函数

这里的结构分数(structure score)可以理解为类似于Gain系数一样更加一般的对于树打分的函数。

具体打分函数例子：

Xgboost算法的步骤和GB基本相同，都是首先初始化为一个常数，gb是根据一阶导数ri$r_i$，Xgboost是根据一阶导数gi$g_i$和二阶导数hi$h_i$，迭代生成基学习器，相加更新学习器。对于每一次尝试去对已有的叶子加入一个分割，每次做左右子树分裂时，目标是最大程度的减少损失函数的损失，也就是说，假设当前节点左右子树的一阶二阶导数和为GL$GL$,HL$HL$,GR$GR$,HR$HR$则我们期望最大化下式：