其中，误差/损失函数鼓励我们的模型尽量去拟合训练数据，使得最后的模型会有比较少的 bias。而正则化项则鼓励更加简单的模型。因为当模型简单之后，有限数据拟合出来结果的随机性比较小，不容易过拟合，使得最后模型的预测更加稳定。

2. 回顾加法模型：

其中对于预测模型采用加法策略可以表示如下：

初始化(模型中没有树时，其预测结果为0)：y^(0)i=0${\hat{y}}_i^{(0)}=0$

往模型中加入第一棵树：y^(1)i=f1(xi)=y^(0)i+f1(xi)${\hat{y}}_i^{(1)}=f_1(x_i)={\hat{y}}_i^{(0)}+f_1(x_i)$

往模型中加入第二棵树：y^(2)i=f1(xi)+f2(xi)=y^(1)i+f2(xi)${\hat{y}}_i^{(2)}=f_1(x_i)+f_2(x_i)={\hat{y}}_i^{(1)}+f_2(x_i)$

　　　　　　　　　　　　　　　　　　…

往模型中加入第t棵树：y^(t)i=∑tk=1fk(xi)=y^(t−1)i+ft(xi)${\hat{y}}_i^{(t)}=\sum _{k=1}^t{f}_k(x_i)={\hat{y}}_i^{(t-1)}+f_t(x_i)$

其中fk$f_k$表示第k$k$棵树，