最大熵模型

极大似然估计

下面证明对偶函数的极大化等价于最大熵模型的极大似然估计。

极大似然估计的思想就是通过概率最大化来求出最符合的分类。对应的步骤为：

1. 根据训练集，写出不同分类下的概率函数
2. 将不同分类下的概率函数进行汇总，写出联合概率函数
3. 根据训练集得出似然函数
4. 假设似然函数可微，求偏导得到极大值，否则遍历。且也可以转换为对数似然函数来求解。

最大熵模型用极大似然估计的目的是为了估计最大条件概率分布，就是为了解决分类问题。

对于训练集中的某一个样本点$(x,y)$，对应的条件概率是$P_w(y|x)$，假设该样本点在训练集中出现了很多次，假设为$m$次。那么对应的概率函数可以表示为：
$$P_w(y|x{)}^m$$
然后，就可以按照极大似然估计的步骤，求出联合概率函数
$$\prod _{x,y}{P}_w(y|x{)}^m$$
那最大熵模型这里的$m$等于多少呢？对于训练数据集来说，它就是样本总数$N$乘以对应这组数据出现的经验概率$\tilde{P}(x,y)$，即：
$$m=N\cdot \tilde{P}(x,y)$$
我们就可以把联合概率函数写成：
$$\prod _{x,y}{P}_w(y|x{)}^{N\cdot \tilde{P}(x,y)}$$
由于对于固定的训练集来说，$N$是常数，故下文省去。

这里我们可以计算对数似然函数，对数似然函数可以表示为
$$L_{\tilde{P}}(P_w)=\log \prod _{x,y}P(y|x{)}^{\tilde{P}(x,y)}=\sum _{x,y}\tilde{P}(x,y)\log P(y|x)$$
当条件概率分布$P(y|x)$是最大熵模型$(6.22)$和$(6.23)$时，对数似然函数$L_{\tilde{P}}(P_w)$为
$$\begin{array}{rl}{L}_{\tilde{P}}(P_w)& =\sum _{x,y}\tilde{P}(x,y)\log P(y|x)\\ & =\sum _{x,y}\tilde{P}(x,y)\log \left[\frac{1}{Z_w(x)}\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\right]\\ & =\sum _{x,y}\tilde{P}(x,y)\left(\sum _{i=1}^n{w}_i{f}_i(x,y)-\log Z_w(x)\right)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _{x,y}\tilde{P}(x,y)\log Z_w(x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x)\end{array}\text{\hspace{1em}(6.26)}$$
再看对偶函数$\Psi (w)$，由式$(6.17)$和式$(6.20)$可得
$$\begin{array}{rl}\Psi (w)& =\sum _{x,y}\tilde{P}(x)P_w(y|x)\log P_w(y|x)+\sum _{i=1}^n{w}_i\left(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)\right)\\ & =\sum _{x,y}\tilde{P}(x)P_w(y|x)\log \frac{\exp ({\sum }_{i=1}^n{w}_i{f}_i(x,y))}{Z_w(x)}+\sum _{i=1}^n{w}_i\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{i=1}^n{w}_i\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)\\ & =\sum _{x,y}\tilde{P}(x)P_w(y|x)\left(\sum _{i=1}^n{w}_i{f}_i(x,y))-\log Z_w(x)\right)+\sum _{i=1}^n\sum _{x,y}{w}_i\tilde{P}(x,y)f_i(x,y)-\sum _{i=1}^n\sum _{x,y}{w}_i\tilde{P}(x)P_w(y|x)f_i(x,y)\\ & =\sum _{x,y}\tilde{P}(x)P_w(y|x)\sum _{i=1}^n{w}_i{f}_i(x,y))-\sum _{x,y}\tilde{P}(x)P_w(y|x)\log Z_w(x)+\sum _{i=1}^n\sum _{x,y}{w}_i\tilde{P}(x,y)f_i(x,y)-\sum _{i=1}^n\sum _{x,y}{w}_i\tilde{P}(x)P_w(y|x)f_i(x,y)\\ & =\cancel{\sum _{i=1}^n\sum _{x,y}{w}_i\tilde{P}(x)P_w(y|x)f_i(x,y)}-\sum _{x,y}\tilde{P}(x)P_w(y|x)\log Z_w(x)+\sum _{i=1}^n\sum _{x,y}{w}_i\tilde{P}(x,y)f_i(x,y)-\cancel{\sum _{i=1}^n\sum _{x,y}{w}_i\tilde{P}(x)P_w(y|x)f_i(x,y)}\\ & =\sum _{i=1}^n\sum _{x,y}{w}_i\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P_w(y|x)\log Z_w(x)\\ & =\sum _{i=1}^n\sum _{x,y}{w}_i\tilde{P}(x,y)f_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x)利用\sum _y{P}_w(y|x)=1\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x)\end{array}\text{\hspace{1em}(6.27)}$$
上面用到了${\sum }_y{P}_w(y|x)=1$，以及$w_0\left(1-{\sum }_y{P}_w(y|x)\right)=0$。

比较$(6.26)$和$(6.27)$，可得
$$\Psi (w)=L_{\tilde{P}}P(w)$$
即对偶函数$\Psi (w)$等价于对数似然函数$L_{\tilde{P}}P(w)$，于是证明了最大熵模型学习中的对偶函数极大化等价于最大熵模型的极大似然估计。

于是，最大熵模型的学习问题就转换为具体求解对数似然函数极大化或对偶函数极大化的问题。

可以将最大熵模型写成更一般的形式。
$$P_w(y|x)=\frac{1}{Z_w(x)}\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\text{\hspace{1em}(6.28)}$$
其中，
$$Z_w(x)=\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\text{\hspace{1em}(6.29)}$$
这里，$x\in {\mathbb{R}}^n$为输入， y ∈ { 1 , 2 , ⋯   , K } y in {1,2,cdots, K} y∈{1,2,⋯,K}为输出，$w\in {\mathbb{R}}^n$为权重向量，$f_i(x,y),i=1,\cdots ,n$为任意实数值特征函数。

模型学习的最优化算法

改进的迭代尺度法

改进的迭代尺度法(improved iterative scaling, IIS)是一种最大熵模型学习的最优化算法。

假设已知最大熵模型为
$$P_w(y|x)=\frac{1}{Z_w(x)}\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$
其中，
$$Z_w(x)=\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$
对数似然函数为
$$L(w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log Z_w(x)$$
目标是通过极大似然估计学习模型参数，即求对数似然函数的极大值$\hat{w}$。

IIS的想法是： 假设最大熵模型当前的参数向量是$w=(w_1,w_2,\cdots ,w_n{)}^T$，希望找到一个新的向量$w+\delta =(w_1+{\delta }_1,w_2+{\delta }_2,\cdots ,w_n+{\delta }_n{)}^T$，使得模型的对数似然函数值增大。

如果能有这样一种参数向量更新的方法$\tau :w\to w+\delta$，那么久可以重复使用这一方法，直到找到对数似然函数的最大值。

对于给定的经验分布$\tilde{P}(x,y)$，模型参数从$w$到$w+\delta$，对数似然函数的改变量是
$$\begin{array}{rl}L(w+\delta )-L(w)& =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n(w_i+{\delta }_i)f_i(x,y)-\sum _x\tilde{P}(x)\log Z_{w+\delta }(x)-\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)+\sum _x\tilde{P}(x)\log Z_w(x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)-\sum _x\tilde{P}(x)\log \frac{Z_{w+\delta }(x)}{Z_w(x)}\end{array}$$
利用不等式
$$-\log \alpha \ge 1-\alpha ,\alpha >0$$
建立对数似然函数改变量的下界：
$$\begin{array}{rl}L(w+\delta )-L(w)& \ge \sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\frac{Z_{w+\delta }(x)}{Z_w(x)}\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\frac{{\sum }_y\exp \left({\sum }_{i=1}^n(w_i+{\delta }_i)f_i(x,y)\right)}{{\sum }_y\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)}\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\frac{{\sum }_y\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)\cdot \exp ({\sum }_{i=1}^n{\delta }_i{f}_i(x,y))}{{\sum }_y\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)}\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\cdot \exp (\sum _{i=1}^n{\delta }_i{f}_i(x,y))\end{array}$$
记这个关于$\delta$的函数为$A(\delta |w)$：
$$A(\delta |w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\cdot \exp (\sum _{i=1}^n{\delta }_i{f}_i(x,y))$$
代表了在已知参数$w$的情况下所对应的$\delta$的函数。

于是有
$$L(w+\delta )-L(w)\ge A(\delta |w)$$
即$A(\delta |w)$是对数似然函数该变量的一个下界。

这个不等式为什么成立，这里来证明一下。

把这个不等式写成下面的形式：
$$f(\alpha )=-\log \alpha -(1-\alpha )$$

它的函数图像是上面这样子的。

我们需要证明$f(\alpha )\ge 0$，其中$\alpha >0$。对上式求导数：
$$f^{\prime }(\alpha )=-\frac{1}{\alpha }+1=\frac{\alpha -1}{\alpha }$$
显然$\alpha =1$时导数为零。

• 当$\alpha >1$时，$f^{\prime }(\alpha )>0$ ，说明在$\alpha >1$是$f(\alpha )$是单调递增的；
• 当$1>\alpha >0$时，$f^{\prime }(\alpha )<0$，说明在$1>\alpha >0$时，$f(\alpha )$是单调递减的；

因此，$\alpha =1$是函数的极小值。把$\alpha =1$代入得
$$f(1)=-\log 1-(1-1)=0$$
说明$f(\alpha )\ge 0$。

如果能找到合适的$\delta$式下界$A(\delta |w)$提高，那么对数似然函数也会提高。但是，函数$A(\delta |w)$中的$\delta$是一个向量，含有多个变量，不利于同时优化。IIS试图一次只优化其中一个变量${\delta }_i$，而固定其他变量${\delta }_j,i\ne j$。

为了达到这一目的，IIS进一步降低下界$A(\delta |w)$。具体地，IIS引进一个量$f^{\#}(x,y)$：
$$f^{\#}(x,y)=\sum _i{f}_i(x,y)$$
同时有：
$$\frac{f_i(x,y)}{f^{\#}(x,y)}\ge 0$$
且
$$\sum _i\frac{f_i(x,y)}{f^{\#}(x,y)}=1$$
显然这是成立的。

因为$f_i$是二值函数，当特征函数满足时取1，否则取0。因此$f^{\#}(x,y)$表示特征在$(x,y)$出现的次数，对于固定的训练集来说是一个常量。这样$A(\delta |w)$可以改写为：
$$\begin{array}{rl}A(\delta |w)& =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\exp \left(f^{\#}(x,y)\sum _{i=1}^n\frac{{\delta }_i{f}_i(x,y)}{f^{\#}(x,y)}\right)\end{array}\text{\hspace{1em}(6.30)}$$
如果尝试计算$\frac{\partial A(\delta |w)}{\partial {\delta }_i}$，会发现第三项的$\exp ({\sum }_i{\delta }_i{f}_i(x,y))$项不好消，还是会和所有的${\delta }_i$有关，因此我们尝试利用Jesen不等式，改写这个式子。

根据Jesen不等式，得到
$$\exp \left(\sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}{\delta }_i{f}^{\#}(x,y)\right)\le \sum _{i=1}^n\frac{f_i(x,y)}{f^{\#}(x,y)}\exp ({\delta }_i{f}^{\#}(x,y))$$

Jensen不等式的说明参见：EM算法

于是式$(6.30)$可以改写为
$$A(\delta |w)\ge \sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\sum _{i=1}^n\left(\frac{f_i(x,y)}{f^{\#}(x,y)}\right)\exp ({\delta }_i{f}^{\#}(x,y))\text{\hspace{1em}(6.31)}$$
记不等式右端为
$$B(\delta |w)=\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)\sum _{i=1}^n\left(\frac{f_i(x,y)}{f^{\#}(x,y)}\right)\exp ({\delta }_i{f}^{\#}(x,y))$$
进而得到
$$L(w+\delta )-L(w)\ge B(\delta |w)$$
此时，$B(\delta |w)$是对数似然函数改变量的一个新的下界。

求$B(\delta |w)$对${\delta }_i$的偏导数：
$$\frac{\partial B(\delta |w)}{\partial {\delta }_i}=\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _x\tilde{P}(x)\sum _y{P}_w(y|x)f_i(x,y)\exp ({\delta }_i{f}^{\#}(x,y))\text{\hspace{1em}(6.32)}$$
在上式中，除${\delta }_i$外不含其他任何变量。令偏导数为0得到
$$\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)\exp ({\delta }_i{f}^{\#}(x,y))=E_{\tilde{P}}(f_i)\text{\hspace{1em}(6.33)}$$
于是，依次对${\delta }_i$求解方程$(6.33)$就可以求出$\delta$。

这样就得到了一种求$w$的最优解的迭代算法，即改进的迭代尺度算法IIS。

算法6.1 (改进的迭代尺度算法IIS)

输入： 特征函数$f_1,f_2,\cdots ,f_n$；经验分布$\tilde{P}(X,Y)$，模型$P_w(y|x)$；

输出： 最优参数值$w_i^{\ast }$；最优模型$P_{w^{\ast }}$。

(1) 对所有 i ∈ { 1 , 2 , ⋯   , n } i in {1,2,cdots,n} i∈{1,2,⋯,n}，取初值$w_i=0$。

(2) 对每一 i ∈ { 1 , 2 , ⋯   , n } i in {1,2,cdots, n} i∈{1,2,⋯,n}

​ (a) 令${\delta }_i$是方程
$$\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)\exp ({\delta }_i{f}^{\#}(x,y))=E_{\tilde{P}}(f_i)$$
的解，这里，
$$f^{\#}(x,y)=\sum _{i=1}^n{f}_i(x,y)$$
​ (b) 更新$w_i$值：$w_i\leftarrow w_i+{\delta }_i$。

(3) 如果不是所有$w_i$都收敛，重复步(2)。

拟牛顿法

最大熵模型的学习还可以应用牛顿法或拟牛顿法。

对于最大熵模型而言，
$$P_w(y|x)=\frac{\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)}{{\sum }_y\exp \left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)}$$
目标函数：
$$\underset{w\in {\mathbb{R}}^n}{\min }f(w)=\sum _x\tilde{P}(x)\log \sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)-\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)$$
梯度：
$$g(w)={\left(\frac{\partial f(w)}{\partial w_1},\frac{\partial f(w)}{\partial w_2},\cdots ,\frac{\partial f(w)}{\partial w_n}\right)}^T$$
其中
$$\frac{\partial f(w)}{\partial w_i}=\sum _{x,y}\tilde{P}(x)P_w(y|x)f_i(x,y)-E_{\tilde{P}}(f_i),i=1,2\cdots ,n$$

BFGS算法

输入：特征函数$f_1,f_2,\cdots ,f_n$；经验分布$\tilde{P}(x,y)$，目标函数$f(w)$，梯度$g(w)=\nabla f(w)$，精度要求$ϵ$；

输出：最优化参数$w^{\ast }$；最优模型$P_{w^{\ast }}(y|x)$。

(1) 选定初始值$w^{(0)}$，取$B_0$为正定对称矩阵，置$k=0$。

(2) 计算$g_k=g(w^{(k)})$。若$||g_k||<ϵ$，则停止计算，得近似解$w^{\ast }=w^{(k)}$；否则转(3)。

(3) 由$B_k{p}_k=-g_k$求出$p_k$。

(4) 一维搜索： 即求得${\lambda }_k$使得
$$f(w^{(k)}+{\lambda }_k{p}_k)=\underset{\lambda \ge 0}{\min }f(w^{(k)}+\lambda p_k)$$
(5) 置$w^{(k+1)}=w^{(k)}+{\lambda }_k{p}_k$。

(6) 计算$g_{k+1}=g(w^{(k+1)})$，若$||g_{k+1}||<ϵ$，则停止计算，得近似解$w^{\ast }=w^{(k+1)}$；否则，按式下式算出$B_{k+1}$：
$$B_{k+1}=B_k+\frac{y_k{y}_k^T}{y_k^T{\delta }_k}-\frac{B_k{\delta }_k{\delta }_k^T{B}_k}{{\delta }_k^T{B}_k{\delta }_k}$$
其中，
$$y_k=g_{k+1}-g_k,{\delta }_k=w^{(k+1)}-w^{(k)}$$
(7) 置$k=k+1$，转(3)。

参考

1. 统计学习方法
2. 维基百科
3. 十分钟机器学习 简博士