0 写在前面

机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广”在分析多个机器学习模型：决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。强基计划实现从理论到实践的全面覆盖，由本人亲自从底层编写、测试与文章配套的各个经典算法，不依赖于现有库，可以大大加深对算法的理解。

?详情：机器学习强基计划(附几十种经典模型源码)

1 集成学习概念与优势

集成学习(ensemble learning)并非一种机器学习算法，而是一种通过结合多个学习器来获得比单一学习器显著优越泛化性能的算法框架。集成学习的基本概念整理如下，可以收藏一下~

集成学习的算法框架如图所示

那么为什么需要集成学习呢？是因为相比个体学习器，集成学习具有特别的优势：

• 统计意义：学习任务的假设空间往往很大，若使用单学习器可能因误选而导致泛化性能不佳，结合多个学习器会减小这一风险；
• 计算意义：学习算法往往会陷入局部极小值——有的局部陷阱对应的泛化性能可能很糟糕， 结合多个学习器可降低陷入局部陷阱的风险；
• 表示意义：某些学习任务的真实假设可能不在当前学习算法的假设空间中，结合多个学习器扩大总体假设空间，有可能学得更好的近似。

2 结合策略梳理

在结合策略中，设集成包含$T$个个体学习器 { h 1 , h 2 , ⋯   , h T } left{ h_1,h_2,cdots ,h_T ight} {h1​,h2​,⋯,hT​}，$H$是结合$T$个个体学习器后的集成模型

2.1 加权平均法

加权平均法(weighted averaging)表示如下

$$H\left(\mathbf{x}\right)=\sum _{i=1}^T{w}_i{h}_i\left(\mathbf{x}\right),\left(w_i⩾0\text{且}{\sum }_{i=1}^T{w}_i=1\right)$$

其中$w_i$为个体学习器$h_i$的权重，权重一般由训练数据中学习得到，例如估计出个体学习器的误差，然后令权重大小与误差大小成反比。特别地，当$w_i=1/T$时，加权平均法退化为简单平均法(simple averaging)。一般而言，在个体学习器性能相差较大时宜使用加权平均法，而在个体学习器性能相近时宜使用简单平均法。平均法策略常用于回归任务。

2.2 投票法

投票法(voting)策略常用于分类任务。设类别集合为 { c 1 , c 2 , ⋯   , c N } left{ c_1,c_2,cdots ,c_N ight} {c1​,c2​,⋯,cN​}，则个体学习器$h_i$在样本$\mathbf{x}$上的输出是一个$N$维向量${\left[\begin{array}{cccc}{h}_i^1\left(\mathbf{x}\right)& h_i^2\left(\mathbf{x}\right)& \cdots & h_i^N\left(\mathbf{x}\right)\end{array}\right]}^T$，其中$h_i^j$表示$h_i$在类标记$c_j$上的输出。绝对多数投票法(majority voting)核心原理是若某标记得票过半数则预测为该标记，否则拒绝预测

$$H\left(\mathbf{x}\right)=\{\begin{array}{l}{c}_j,\mathrm{if}{\sum }_{i=1}^T{h}_i^j\left(\mathbf{x}\right)>\frac{1}{2}{\sum }_{k=1}^N{\sum }_{i=1}^T{h}_i^k\left(\mathbf{x}\right)\\ \mathrm{reject},\mathrm{otherwise}\end{array}$$

相对多数投票法(plurality voting)核心原理是得票最多的标记即为预测，若同时有多个最高票，则随机选择一个输出

$$H\left(\mathbf{x}\right)=c_{\arg {\max }_j{\sum }_{i=1}^T{h}_i^j\left(\mathbf{x}\right)}$$

加权投票法(weighted voting)则是在相对多数投票法基础上考虑了个体学习器的权重

$$H\left(\mathbf{x}\right)=c_{\arg {\max }_j{\sum }_{i=1}^T{w}_i{h}_i^j\left(\mathbf{x}\right)}$$

绝对多数投票法提供了拒绝预测选项，这在可靠性要求较高的学习任务中是一个很好的机制。但若要求必须提供预测结果，则不能采用绝对多数投票法。

根据$h_i^j$的取值类型分为两种情形

• 当 h i j ∈ { 0 , 1 } h_{i}^{j}in left{ 0,1 ight} hij​∈{0,1}时，称为硬投票(hard voting)
• 当$h_i^j\in \left[0,1\right]$时可视为后验概率 ，称为软投票(soft voting)

在软投票中，对能在预测出类别的同时产生分类置信度的学习器(如贝叶斯分类)，其分类置信度可直接转化为投票概率。若不存在概率语义(如支持向量机分类间隔)，则必须校准后才能作为投票概率。值得注意的是，在异质集成中，不同个体学习器的输出投票概率没有可比性，此时需要根据后验概率将软投票转换成硬投票处理。

2.3 学习法

学习法的核心原理是构造一个元学习器，建立个体学习器 { h 1 , h 2 , ⋯   , h T } left{ h_1,h_2,cdots ,h_T ight} {h1​,h2​,⋯,hT​}预测输出到集成输出的映射

$$f:{\left[\begin{array}{cccc}{h}_1^{}\left(\mathbf{x}\right)& h_2^{}\left(\mathbf{x}\right)& \cdots & h_T^{}\left(\mathbf{x}\right)\end{array}\right]}^T\mapsto H\left(\mathbf{x}\right)$$

这类结合策略的典型是Stacking算法，算法流程如表所示。

3 误差-分歧分解

误差-分歧分解是分析集成学习对个体学习器性能要求的工具，假设结合策略采用加权平均法

定义个体学习器的分歧(ambiguity)为$A\left(h_i|\mathbf{x}\right)={\left(h_i\left(\mathbf{x}\right)-H\left(\mathbf{x}\right)\right)}^2$，则集成学习的分歧

$$\begin{array}{rl}\bar{A}\left(h|\mathbf{x}\right)& =\sum _{i=1}^T{w}_{i}A\left(h_i|\mathbf{x}\right)\\ & =\sum _{i=1}^T{w}_i{h}_i^2\left(\mathbf{x}\right)-H^2\left(\mathbf{x}\right)\end{array}$$

表征了个体学习器间在样本$\mathbf{x}$上的不一致性——也一定程度上反应了个体学习器的多样性。设真实模型为$f$，则个体学习器$h_i$与集成模型$H$的偏差为

$$\{\begin{array}{l}E\left(h_i|\mathbf{x}\right)={\left(f\left(\mathbf{x}\right)-h_i\left(\mathbf{x}\right)\right)}^2,i=1,2,\cdots ,T\\ E\left(H|\mathbf{x}\right)={\left(f\left(\mathbf{x}\right)-H\left(\mathbf{x}\right)\right)}^2\end{array}$$

设个体学习器的加权偏差为$\bar{E}\left(h|\mathbf{x}\right)={\sum }_{i=1}^T{w}_{i}E\left(h_i|\mathbf{x}\right)$，则有$\bar{A}\left(h|\mathbf{x}\right)=\bar{E}\left(h|\mathbf{x}\right)-E\left(H|\mathbf{x}\right)$对$\forall \mathbf{x}$都成立，设$\mathbf{x}p\left(\mathbf{x}\right)$，在样本空间有

$$\begin{gathered} \int \bar{A}\left(h|\mathbf{x}\right)p\left(\mathbf{x}\right)\mathrm{d}\mathbf{x}=\int \bar{E}\left(h|\mathbf{x}\right)p\left(\mathbf{x}\right)\mathrm{d}\mathbf{x}-\int E\left(H|\mathbf{x}\right)p\left(\mathbf{x}\right)\mathrm{d}\mathbf{x} \\ \Rightarrow \sum _{i=1}^T{w}_i\int A\left(h_i|\mathbf{x}\right)p\left(\mathbf{x}\right)\mathrm{d}\mathbf{x}=\sum _{i=1}^T{w}_i\int E\left(h_i|\mathbf{x}\right)p\left(\mathbf{x}\right)\mathrm{d}\mathbf{x}-\int E\left(H|\mathbf{x}\right)p\left(\mathbf{x}\right)\mathrm{d}\mathbf{x} \end{gathered}$$

令个体学习器$h_i$在全样本空间的泛化误差、分歧，以及集成模型的泛化误差为

$$\{\begin{array}{l}{E}_i=\int E\left(h_i|\mathbf{x}\right)p\left(\mathbf{x}\right)\mathrm{d}\mathbf{x}\\ A_i=\int A\left(h_i|\mathbf{x}\right)p\left(\mathbf{x}\right)\mathrm{d}\mathbf{x}\\ E=\int E\left(H|\mathbf{x}\right)p\left(\mathbf{x}\right)\mathrm{d}\mathbf{x}\end{array}$$

则误差-分歧分解为

$$E=\bar{E}-\bar{A}$$

其中$\bar{E}={\sum }_{i=1}^T{w}_i{E}_i$表示个体学习器泛化误差的加权均值，$\bar{A}={\sum }_{i=1}^T{w}_i{A}_i$表示个体学习器分歧的加权均值。

误差-分歧分解表明个体学习器性能越好、多样性越大，则集成模型总体的泛化误差 越小。因此，集成学习要求个体学习器满足“好而不同”。

? 更多精彩专栏：

• 《ROS从入门到精通》
• 《Pytorch深度学习实战》
• 《机器学习强基计划》
• 《运动规划实战精讲》
• …