VB.net 2010 视频教程 VB.net 2010 视频教程 python基础视频教程
SQL Server 2008 视频教程 c#入门经典教程 Visual Basic从门到精通视频教程
当前位置:
首页 > temp > 简明python教程 >
  • 集成学习之Xgboost(20)

1,2,...,Tt=1,2,...,T有:

1) 计算第i个样本(i1,2,..,m)在当前轮损失函数L基于ft1(xi)的一阶导数gti,二阶导数hti,计算所有样本的一阶导数和Gt=i=1mgti,二阶导数和Ht=i=1mhti

2) 基于当前节点尝试分裂决策树,默认分数score=0,G和H为当前需要分裂的节点的一阶二阶导数之和。

 对特征序号 k=1,2...K:

 a) GL=0,HL=0

 b) 将样本按特征k从小到大排列,依次取出第i个样本,依次计算当前样本放入左子树后,左右子树一阶和二阶导数和:

GL=GL+gti,GR=GGL
HL=HL+hti,HR=HHL

 

 c) 尝试更新最大的分数: