• 集成学习之Xgboost(14)

这时，目标函数只依赖于每个数据点在误差函数上的一阶导数和二阶导数（这里体现xgboost和gbdt的不同了，目标函数保留了泰勒展开的二次项）。

回归前面树的复杂度介绍，我们知道：ft(x)=wq(x),w∈RT,q:Rd—>{1,2,...,T}$f_t(x)=w_{q(x)},w\in R^T,q:R^d—>\{1,2,...,T\}$，同时将目标函数全部转换成在第t$t$棵树叶子节点的形式。对这里的ft(xi)$f_t(x_i)$的理解：当一个样本进来的时候，不管是回归问题还是分类问题，最终都会掉到叶子结点上，而每颗树的每个叶子节点都会对应有一个得分（想象一下回归问题，每个叶子节点对应的是落入该叶子结点的所有训练样本的均值），所以ft(xi)$f_t(x_i)$可以理解为一个样本在t$t$轮最终的得分函数。

即每个决策树的第j$j$个叶子节点的取值最终会是同一个值wj$w_j$。另外代入正则项。

损失函数可以继续化简：