条件随机场(conditional random fields，简称 $CRF$，或$CRFs$)，是一种判别式概率模型，常用于标注或分析序列资料，如自然语言文字或是生物序列。

条件随机场是条件概率分布模型P(Y|X)，表示的是给定一组输入随机变量X的条件下另一组输出随机变量Y的马尔可夫随机场，也就是说$CRF$的特点是假设输出随机变量构成马尔可夫随机场。

知识框架

马尔可夫过程

定义：假设一个随机过程中， $t_n$时刻的状态$x_n$的条件发布，只与其前一状态$x_{n-1}$相关，即：
$$
P\left(x_{n} | x_{1}, x_{2}, \ldots, x_{n-1}\right)=P\left(x_{n} | x_{n-1}\right)
$$
则将其称为马尔可夫过程。

隐马尔可夫算法(HMM)

1、定义

隐马尔可夫算法是对含有未知参数（隐状态）的马尔可夫链进行建模的生成模型，如下图所示：

在隐马尔科夫模型中，包含隐状态和观察状态，隐状态$x_i$对于观察者而言是不可见的，而观察状态$y_i$对于观察者而言是可见的。隐状态间存在转移概率，隐状态$x_i$到对应的观察状态$y_i$间存在输出概率。

2、假设

假设隐状态$x_i$的状态满足马尔可夫过程，$i$时刻的状态$x_i$的条件分布，仅与其前一个状态$x_{i-1}$相关，即：
$$
P\left(x_{i} | x_{1}, x_{2}, \ldots, x_{i-1}\right)=P\left(x_{i} | x_{i-1}\right)
$$
假设观测序列中各个状态仅取决于它所对应的隐状态，即：
$$
P\left(y_{i} | x_{1}, x_{2}, \ldots, x_{i-1}, y_{1}, y_{2}, \ldots, y_{i-1}, y_{i+1}, \ldots\right)=P\left(y_{i} | x_{i}\right)
$$
3、存在问题

在序列标注问题中，隐状态（标注）不仅和单个观测状态相关，还和观察序列的长度、上下文等信息相关。例如词性标注问题中，一个词被标注为动词还是名词，不仅与它本身以及它前一个词的标注有关，还依赖于上下文中的其他词

条件随机场

以线性链条件随机场为例

1、定义

给定$X=(x_1,x_2····,x_n)$,$Y=(y_1,y_2····,y_n)$均为线性链表示的随机变量序列，若在给随机变量序列X的条件下，随机变量序列Y的条件概率分布P(Y|X)构成条件随机场，即满足马尔可夫性：
$$
P\left(y_{i} | x_{1}, x_{2}, \ldots, x_{i-1}, y_{1}, y_{2}, \ldots, y_{i-1}, y_{i+1}\right)=P\left(y_{i} | x, y_{i-1}, y_{i+1}\right)
$$
则称$P(Y|X)$为线性链条件随机场。

通过去除了隐马尔科夫算法中的观测状态相互独立假设，使算法在计算当前隐状态$x_i$时，会考虑整个观测序列，从而获得更高的表达能力，并进行全局归一化解决标注偏置问题。

1）参数化形式
$$
p(y | x)=\frac{1}{Z(x)} \prod_{i=1}^{n} \exp \left(\sum_{i, k} \lambda_{k} t_{k}\left(y_{i-1}, y_{i}, x, i\right)+\sum_{i, l} \mu_{l} s_{l}\left(y_{i}, x, i\right)\right)
$$
其中：$Z(x)$为归一化因子，是在全局范围进行归一化，枚举了整个隐状态序列$x_{1…n}$的全部可能，从而解决了局部归一化带来的标注偏置问题。

$t_k$为定义在边上的特征函数，转移特征，依赖于前一个和当前位置$s_1$为定义在节点上的特征函数，状态特征，依赖于当前位置

2）简化形式

因为条件随机场中同一特征在各个位置都有定义，所以可以对同一个特征在各个位置求和，将局部特征函数转化为一个全局特征函数，这样就可以将条件随机场写成权值向量和特征向量的内积形式，即条件随机场的简化形式。

• step 1 将转移特征和状态特征及其权值用统一的符号表示，设有$k_1$个转移特征，$k_2$个状态特征，,记

$$
f_{k}\left(y_{i-1}, y_{i}, x, i\right)=\left{\begin{array}{l}
t_{k}\left(y_{i-1}, y_{i}, x, i\right), \quad k=1,2,3, \ldots, K_{1} \
s_{l}\left(y_{i}, x, i\right), \quad k=k_{1}+l ; l=1,2, \ldots, K_{2}
\end{array}\right.
$$

• step 2 对转移与状态特征在各个位置求$i$和，记作

$$
f_{k}(y, x)=\sum_{i=1}^{n} f_{k}\left(y_{i-1}, y_{i}, x, i\right), k=1,2, \ldots, K
$$

• step 3 将 和 用统一的权重表示，记作

$$
w_{k}=\left{\begin{array}{ll}
\lambda_{k}, & k=1,2, \ldots, K_{1} \
\mu_{l}, & k=K_{1}+l ; l=1,2, \ldots, K_{2}
\end{array}\right.
$$

• step 4 转化后的条件随机场可表示为：
  $$
  \begin{aligned}
  P(y | x) &=\frac{1}{Z(x)} \exp \sum_{k=1}^{K} w_{k} f_{k}(y, x) \
  Z(x) &=\sum_{y} \exp \sum_{k=1}^{K} w_{k} f_{k}(y, x)
  \end{aligned}
  $$

  • step 5 若 表示权重向量：$w=(w_1,w_2,…,w_k)^T$以$F(y,x)$表示特征向量，即
    $$
    F(y, x)=\left(f_{1}(y | x), f_{2}(y | x), \ldots, f_{K}(y | x)\right)^{T}
    $$
    则，条件随机场写成内积形式为：
    $$
    \begin{array}{l}
    P_{w}(y | x)=\frac{\exp (w \cdot F(y, x)}{Z_{w}(x)} \
    Z_{w}(x)=\sum_{y} \exp (w \cdot F(y, x))
    \end{array}
    $$

3）矩阵形式
$$
P_{w}(y | x)=\frac{1}{Z_{w}(x)} \prod_{i=1}^{n+1} M_{i}\left(y_{i-1}, y_{i} | x\right)
$$
2、基本问题

条件随机场包含概率计算问题、学习问题和预测问题三个问题。

• 概率计算问题：已知模型的所有参数，计算观测序列Y出现的概率，常用方法：前向和后向算法；
• 学习问题：已知观测序列Y,求解使得该观测序列概率最大的模型参数，包括隐状态序列、隐状态间的转移概率分布和从隐状态到观测状态的概率分布，常用方法：Baum-Wehch算法；
• 预测问题：一直模型所有参数和观测序列Y，计算最可能的隐状态序列X,常用算法：维特比算法。

案例：利用维特比算法计算给定输入序列$x$对应的最优输出序列$y^*$：
$$
\max \sum_{i=1}^{3} w \cdot F_{i}\left(y_{i-1}, y_{i}, x\right)
$$
1.初始化
$$
\delta_{1}(j)=w \cdot F_{1}\left(y_{0}=\operatorname{start}, y_{1}=j, x\right), j=1,2 i=1, \delta_{1}(1)=1, \delta_{1}(2)=0.5
$$
2.递推，对$i=2,3,…,n$
$$
\begin{array}{c}
i=2, \delta_{2}(l)=\max {j}\left{\delta{1}(j)+w \cdot F_{2}(j, l, x)\right} \
\delta_{2}(1)=\max \left{1+\lambda_{2} t_{2}, 0.5+\lambda_{4} t_{4}\right}=1.6, \Psi_{2}(1)=1 \
\delta_{2}(2)=\max \left{1+\lambda_{1} t_{1}+\mu_{2} s_{2}, 0.5+\mu_{2} s_{2}\right}=2.5, \Psi_{2}(2)=1 \
i=3, \delta_{3}(l)=\max {j}\left{\delta{2}(j)+w \cdot F_{3}(j, l, x)\right} \
\delta_{3}(1)=\max \left{1.6+\mu_{5} s_{5}, 2.5+\lambda_{3} t_{3}+\mu_{3} s_{3}\right}=4.3, \Psi_{3}(1)=2 \
\delta_{3}(2)=\max \left{1.6+\lambda_{1} t_{1}+\mu_{4} s_{4}, 2.5+\lambda_{5} t_{5}+\mu_{4} s_{4}\right}=4.3, \Psi_{3}(2)=1
\end{array}
$$
3.终止
$$
\max {y}(w \cdot F(y, x))=\max \delta{3}(l)=\delta_{3}(1)=4.3 y_{3}^{}=\operatorname{argmax}{1} \delta{3}(l)=1
$$
4.返回路径
$$
\begin{aligned}
y_{2}^{}=& \Psi_{3}\left(y_{3}^{}=\Psi_{3}(1)=2 y_{1}^{}=\Psi_{2}\left(y_{2}^{}\right)=\Psi_{2}(2)=1\right.\
求得最优路径y^{}=\left(y_{1}^{}, y_{2}^{}, \ldots, y_{n}^{*}\right)=(1,2,1)
\end{aligned}
$$
代码实现如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95

import numpy as np
 
class CRF(object):
    '''实现条件随机场预测问题的维特比算法
    '''
    def __init__(self, V, VW, E, EW):
        '''
        :param V:是定义在节点上的特征函数，称为状态特征
        :param VW:是V对应的权值
        :param E:是定义在边上的特征函数，称为转移特征
        :param EW:是E对应的权值
        '''
        self.V  = V  #点分布表
        self.VW = VW #点权值表
        self.E  = E  #边分布表
        self.EW = EW #边权值表
        self.D  = [] #Delta表，最大非规范化概率的局部状态路径概率
        self.P  = [] #Psi表，当前状态和最优前导状态的索引表s
        self.BP = [] #BestPath，最优路径
        return 
        
    def Viterbi(self):
        '''
        条件随机场预测问题的维特比算法，此算法一定要结合CRF参数化形式对应的状态路径图来理解，更容易理解.
        '''
        self.D = np.full(shape=(np.shape(self.V)), fill_value=.0)
        self.P = np.full(shape=(np.shape(self.V)), fill_value=.0)
        for i in range(np.shape(self.V)[0]):
            #初始化
            if 0 == i:
                self.D[i] = np.multiply(self.V[i], self.VW[i])
                self.P[i] = np.array([0, 0])
                print('self.V[%d]='%i, self.V[i], 'self.VW[%d]='%i, self.VW[i], 'self.D[%d]='%i, self.D[i])
                print('self.P:', self.P)
                pass
            #递推求解布局最优状态路径
            else:
                for y in range(np.shape(self.V)[1]): #delta[i][y=1,2...]
                    for l in range(np.shape(self.V)[1]): #V[i-1][l=1,2...]
                        delta = 0.0
                        delta += self.D[i-1, l]                      #前导状态的最优状态路径的概率
                        delta += self.E[i-1][l,y]*self.EW[i-1][l,y]  #前导状态到当前状体的转移概率
                        delta += self.V[i,y]*self.VW[i,y]            #当前状态的概率
                        print('(x%d,y=%d)-->(x%d,y=%d):%.2f + %.2f + %.2f='%(i-1, l, i, y, \
                              self.D[i-1, l], \
                              self.E[i-1][l,y]*self.EW[i-1][l,y], \
                              self.V[i,y]*self.VW[i,y]), delta)
                        if 0 == l or delta > self.D[i, y]:
                            self.D[i, y] = delta
                            self.P[i, y] = l
                    print('self.D[x%d,y=%d]=%.2f\n'%(i, y, self.D[i,y]))
        print('self.Delta:\n', self.D)
        print('self.Psi:\n', self.P)
        
        #返回，得到所有的最优前导状态
        N = np.shape(self.V)[0]
        self.BP = np.full(shape=(N,), fill_value=0.0)
        t_range = -1 * np.array(sorted(-1*np.arange(N)))
        for t in t_range:
            if N-1 == t:#得到最优状态
                self.BP[t] = np.argmax(self.D[-1])
            else: #得到最优前导状态
                self.BP[t] = self.P[t+1, int(self.BP[t+1])]
        
        #最优状态路径表现在存储的是状态的下标，我们执行存储值+1转换成示例中的状态值
        #也可以不用转换，只要你能理解，self.BP中存储的0是状态1就可以~~~~
        self.BP += 1
        
        print('最优状态路径为：', self.BP)
        return self.BP
        
def CRF_manual():   
    S = np.array([[1,1],   #X1:S(Y1=1), S(Y1=2)
                  [1,1],   #X2:S(Y2=1), S(Y2=2)
                  [1,1]])  #X3:S(Y3=1), S(Y3=1)
    SW = np.array([[1.0, 0.5], #X1:SW(Y1=1), SW(Y1=2)
                   [0.8, 0.5], #X2:SW(Y2=1), SW(Y2=2)
                   [0.8, 0.5]])#X3:SW(Y3=1), SW(Y3=1)
    E = np.array([[[1, 1],  #Edge:Y1=1--->(Y2=1, Y2=2)
                   [1, 0]], #Edge:Y1=2--->(Y2=1, Y2=2)
                  [[0, 1],  #Edge:Y2=1--->(Y3=1, Y3=2) 
                   [1, 1]]])#Edge:Y2=2--->(Y3=1, Y3=2)
    EW= np.array([[[0.6, 1],  #EdgeW:Y1=1--->(Y2=1, Y2=2)
                   [1, 0.0]], #EdgeW:Y1=2--->(Y2=1, Y2=2)
                  [[0.0, 1],  #EdgeW:Y2=1--->(Y3=1, Y3=2)
                   [1, 0.2]]])#EdgeW:Y2=2--->(Y3=1, Y3=2)
    
    crf = CRF(S, SW, E, EW)
    ret = crf.Viterbi()
    print('最优状态路径为:', ret)
    return
    
if __name__=='__main__':
    CRF_manual()

输出结果如下：