VB.net 2010 视频教程 VB.net 2010 视频教程 python基础视频教程
SQL Server 2008 视频教程 c#入门经典教程 Visual Basic从门到精通视频教程
当前位置:
首页 > temp > 简明python教程 >
  • 集成学习之Xgboost(10)

xa)n(xa)n的高阶无穷小。

泰勒二阶展开:

f(x+Δx)f(x)+f(x)Δx+12f(x)Δx2

 

8. Xgboost的泰勒展开推导过程

对应到Xgboost的目标函数里头:

Obj(t)=i=1nl(yi,yi^(t1)+ft(xi))+Ω(ft)+constant

 

忽略损失函数l中的yi(因为上面说的“ 在第t步,yi是真实值,即已知 ”,所以不影响后续目标函数对yi^(t1)的偏导计算),做下一一对应:

泰勒二阶展开f 里的x对应目标函数里的yi^(t1)

f 里的Δx对应目标函数的ft(xi)

从而