把C放入到解码器就可以进行翻译

相信这个动画，应该能把这个宏观过程解释的更加明白。 那么下面就看看具体细节， 这个权重到底是啥？ 要怎么加？ 最后的C应该怎么计算了？

这个图其实解释的也非常的清楚， 可以当做回顾看一遍， 下面就是简单的实现这个网络， 但是实现之前， 还想先解释一下双向的LSTM究竟是怎么计算的？ 编码器这里的隐藏状态输出会看到有一个正向的隐态， 有一个逆向的隐态然后两者进行了一个堆叠， 那么逆向的这个隐态究竟是怎么算的呢？ 这里来个双向RNN的图：

其实看这个也挺明白的， 正向隐藏状态的输出我们知道是按照时间步从第一步开始计算，然后依次往后这样计算即可， 那么反向其实是同理的， 无非就是输入的时候我们把输入进行逆序一下就可以了，就相当于先从最后一个时间步开始往前进行计算了， 这样每个时间步就会有一个正向隐藏状态，一个反向隐藏状态， 两者进行一个拼接即可。

好了， 这个问题也说明白了，当然双向RNN不用我们自己实现， 调用相应的包即可。 那么怎么实现上面的结构呢？ 思路是这样， 我们下面是一个双向LSTM， 这个有包可以实现， 上面是单向LSTM， 也有包实现， 这么多时间步无非就是一个循环。 但是我们知道， 每个时间步里面都会有一个上下文向量C， 而这个注意力机制是我们要实现的关键， 只要实现了这个注意力机制， 那么这个计算过程就很容易了， 逻辑就是我先根据一个双向的LSTM， 把输入转成隐藏状态， 然后对于每一个时间步的隐态， 我得计算一个上下文向量， 然后把上下文向量作为解码器的输入去计算输出。

所以我们得自己写个函数，来获取一个时间步的上下文向量， 看下面这个图：

这就是一个时间步上下文向量的计算， 输入是解码器上一时刻的隐藏状态， 和编码器所有时间步的隐藏状态（这里考虑了所有时间步， 但是会根据当前位置对时间步的隐态加不同的权重）， 而输出就是当前时刻的上下文向量。 过程上面其实都说的挺清楚了， 计算得分， 然后softmax， 然后加和。 当然这里也是采用了向量的方式， 开始写代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

def one_step_attention(a, s_prev):  
    """
        这里的a表示的是编码器所有的隐藏状态信息， 维度是(m, Tx, 2*n_a)
        s_prev表示的是解码器前一个隐藏状态信息， 维度是(m, n_s)  后面这一维是隐藏单元个数
    """
    # 首先， 我们会先给s_prev按照时间步方向扩充维度， 毕竟a里面是所有的时间步， 后面要进行堆叠， 需要维度对应
    s_prev = RepeatVector(Tx)   # 复制Tx步， 这样s_prev变成了(m, Tx, n_s)

    # 下一步就是把a和s_prev堆叠起来一块计算
    concat = Concatenate(axis=-1)([a, s_prev])  # (m, Tx, 2*n_a+n_s)

    # 下面是计算每个隐藏状态的得分， 加入两个全连接层
    e = Dense(10, activation = "tanh")(concat)   # (m, Tx, 10)
    energies = Dense(1, activation = "relu")(e)  # (m, Tx, 1)
    
    # 接下来是softmax得到权重
    alpha = Activation(softmax)(energies)  # (m, Tx, 1)

    # 上下文向量   权重与a相乘然后加和
    context = Dot(axes=1)([alpha, y])   # (m, 1, 2*n_a)  
    # 这里的上下文向量维度依然和当前时间步的编码器输出隐藏状态的维度一致，只不过后者以不同的注意力融合了多个时间步输入的信息。

    return context

有了这一步的上下文向量的计算， 上面的的seq2seq就比较容易实现了， 逻辑就是先计算出编码器中的隐藏状态， 然后对于每个解码器的时间步进行遍历， 每一步都是先根据编码器的隐藏状态和上一步的s求当前步的上下文向量c， 然后基于c， 前一步的s， 前一步的y得到当前步的输出， 然后依次循环，直到结束。 代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

def seq2seq_att(Tx, Ty, n_a, n_s, input_dim, output_dim):
    """
        Tx: 这个就是编码器的时间步长度
        Ty: 这个是解码器的时间步长度
        n_a: 编码器隐藏单元个数
        n_s: 解码器隐藏单元个数
        input_dim: 编码器输入的维度
        output_dim: 解码器的输出维度
    """
    # 首先要定义输入维度
    X = Input(shape=(Tx, input_dim))
    s0 = Input(shape=(n_s, ))
    c0 = Input(shape=(n_s,))
    s = s0
    c = c0

    # 弄一个列表存放输出结果
    outputs = []

    # 编码器计算每个时间步的隐藏状态
    a = Bidirectional(LSTM(n_a, return_sequences=True), input_shape=(m, Tx, n_a*2))(X)   # 这里的return_sequences一定要设置为True， 要输出所有的隐藏状态， 如果是False， 就只输出最后一个时间步的隐藏状态

    # 开始计算每一步的输出：
    for t in range(Ty):
        # 获得当前时间步的上下文向量
        context = one_step_attention(a, s)
        
        # 通过解码器的LSTM计算一步输出， 这时候别忘了输入是上下文向量， 还有前一个状态的隐藏信息（注意，LSTM的隐藏状态是两个输出h, c）, 这里不需要前一步的输出y
        s, _, c = LSTM(n_s, return_state = True)((context, initial_state=[s, c])
        )  # return_state表示每一步要返回h, c
    
        # 得到输出
        out = Dense(output_dim, activation=softmax)(s)

        # 保存结果
        outputs.append(out)
    
    # 建立最终模型
    model = Model(inputs=[X, s0, c0], outputs=outputs)
    return model

上面就是一个简单的带有注意力机制的seq2seq的实现过程， 通过代码能更好的帮助理解一些细节，比如attention实现的时候一些向量的维度变化， 再比如LSTM单元的传递有h和c两个向量。 千万不要忘了这里的c， 并且这个c和上下文的context可不一样。

这样， 关于Attention的内容就差不多介绍到了这里。

我们先从seq2seq模型开始说起的， 这个模型是为了应对输入和输出都是不定长的那种任务 ，比如机器翻译， 人机对话等。 这种模型分为编码和解码两部分， 一般由两个RNN网络或者变体组成， 原理就是先基于编码器得到一个综合所有输入的上下文向量C， 然后进行解码，解码的时候， 将C作为解码RNN的输入， 最后得到输出结果。 这一块从宏观和计算细节两方面进行展开。

然后分析了这种结构的弊端就是当前时刻的输出要考虑所有的输入， 这个是不符习惯的，并且会发生序列信息的丢失，当输入的句子越长， 越前面词的信息丢失就越严重。在解码的时候， 当前词以及对应的源语言的上下文信息和位置信息在编解码过程中也会丢失。 当然这里的建模技巧就是将源语言句子再逆序输入，或者重复输入两遍来训练模型，可以达到一定性能的提升 。但依然改进有限。

所以引入了注意力机制， 即给输入进行加权， 每个时刻都会有一个上下文向量， 当时每个时刻的上下文向量对所有的输入加了不同的注意力， 也就是当前时刻的输出要重点关注某部分的输入序列。 这个机制就保证了seq2seq模型能够进行长序列的任务。 这一块也是宏观和计算细节两方面展开。加入注意之后，在生成输出词时，会考虑每个输入词和当前输出词的对齐关系， 对齐越好的词，会有越大的权重，对当前生成词的影响也就越大。要注意这里的编码器使用了双向的RNN结构， 这样能够有效的缓解前后信息的丢失情况。

最后，还利用keras简单的实现了一个带有注意力机制的Seq2Seq模型， 了解了一些细节。 总之， Attention机制现在用的非常广泛也非常重要， 关于它的一些知识就介绍到这里。 最后再宏观上看一下带有注意力机制的Seq2Seq的工作过程：

有了这些基础的知识， 就可以进行一些实战任务， 就像第一篇里面说的后面会总结一篇用于时间序列预测非线性自回归模型的论文，这篇论文用的就是带有双阶段注意力机制的LSTM（如果掌握了上面的这些知识点， 就会发现读这篇论文无压力了， 并且很清晰的感觉）。 后面也会使用keras尝试复现并用于时间序列预测的任务，通过这样的方式，可以把这些基础知识从理论变成实践。 这叫做首尾呼应 哈哈！😉