深度学习入门（五十六）循环神经网络——循环神经网络RNN

• 前言
• 循环神经网络——循环神经网络RNN
• • 课件
  • • 潜变量自回归模型
    • 循环神经网络
    • 使用循环神经网络的语言模型
    • 困惑度（perplexity）
    • 梯度裁剪
    • 更多的应用RNNs
    • 总结
  • 教材
  • • 1 无隐状态的神经网络
    • 2 有隐状态的循环神经网络
    • 3 基于循环神经网络的字符级语言模型
    • 4 困惑度（Perplexity）
    • 5 小结

前言

核心内容来自博客链接1博客连接2希望大家多多支持作者
本文记录用，防止遗忘

循环神经网络——循环神经网络RNN

课件

潜变量自回归模型

使用潜变量hth_tht​总结过去信息

循环神经网络

更新隐藏状态：ht=ϕ(Whhht−1+Whxxt−1+bh)h_t=\phi(W_{hh}h_{t-1}+W_{hx}x_{t-1}+b_h)ht​=ϕ(Whh​ht−1​+Whx​xt−1​+bh​)
输出：ot=ϕ(Whoht)+boo_t=\phi(W_{ho}h_t)+b_oot​=ϕ(Who​ht​)+bo​

使用循环神经网络的语言模型

困惑度（perplexity）

衡量一个语言模型的好坏可以用平均交叉嫡
π=1n∑t=1n−log⁡P(xt∣xt−1,…,x1),\pi=\frac{1}{n} \sum_{t=1}^n -\log P(x_t \mid x_{t-1}, \ldots, x_1),π=n1​t=1∑n​−logP(xt​∣xt−1​,…,x1​),
ppp是语言模型的预测概率，xtx_txt​是真实词

• 历史原因NLP使用困惑度exp(π)exp(\pi)exp(π)来衡量，是平均每次可能选项
• 1表示完美，无穷大是最差情况

梯度裁剪

迭代中计算这TTT个时间步上的梯度，在反向传播过程中产生长度为O(T)O(T)O(T)的矩阵乘法链，导致数值不稳定
梯度裁剪能有效预防梯度爆炸

• 如果梯度长度超过θ\thetaθ，那么拖影回长度θ\thetaθ
  g←min(1,θ∣∣g∣∣)gg\leftarrow min(1,\frac{\theta}{||g||})gg←min(1,∣∣g∣∣θ​)g

更多的应用RNNs

总结

• 循环神经网络的输出取决于当下输入和前一时间的隐变量
• 应用到语言模型中时，循环神经网络根据当前词预测下一次时刻词
• 通常使用困惑度来衡量语言模型的好坏

教材

在语言模型与数据集一节中， 我们介绍了nnn元语法模型， 其中单词xtx_txt​在时间步ttt的条件概率仅取决于前面n−1n-1n−1个单词。 对于时间步t−(n−1)t-(n-1)t−(n−1)之前的单词， 如果我们想将其可能产生的影响合并到xtx_txt​上， 需要增加nnn，然而模型参数的数量也会随之呈指数增长， 因为词表V\mathcal{V}V需要存储∣V∣n|\mathcal{V}|^n∣V∣n个数字， 因此与其将P(xt∣xt−1,…,xt−n+1)P(x_t \mid x_{t-1}, \ldots, x_{t-n+1})P(xt​∣xt−1​,…,xt−n+1​)模型化， 不如使用隐变量模型：

P(xt∣xt−1,…,x1)≈P(xt∣ht−1),P(x_t \mid x_{t-1}, \ldots, x_1) \approx P(x_t \mid h_{t-1}),P(xt​∣xt−1​,…,x1​)≈P(xt​∣ht−1​),
其中ht−1h_{t-1}ht−1​是隐状态（hidden state）， 也称为隐藏变量（hidden variable）， 它存储了到时间步t−1t-1t−1的序列信息。 通常，我们可以基于当前输入xtx_{t}xt​和先前隐状态ht−1h_{t-1}ht−1​来计算时间步ttt处的任何时间的隐状态：
ht=f(xt,ht−1).h_t = f(x_{t}, h_{t-1}).ht​=f(xt​,ht−1​).
对于上式中的函数fff，隐变量模型不是近似值。 毕竟hth_tht​是可以仅仅存储到目前为止观察到的所有数据， 然而这样的操作可能会使计算和存储的代价都变得昂贵。

回想一下，我们在多层感知机中讨论过的具有隐藏单元的隐藏层。 值得注意的是，隐藏层和隐状态指的是两个截然不同的概念。 如上所述，隐藏层是在从输入到输出的路径上（以观测角度来理解）的隐藏的层， 而隐状态则是在给定步骤所做的任何事情（以技术角度来定义）的输入， 并且这些状态只能通过先前时间步的数据来计算。

循环神经网络（recurrent neural networks，RNNs） 是具有隐状态的神经网络。 在介绍循环神经网络模型之前， 我们首先回顾多层感知机一节中介绍的多层感知机模型。

1 无隐状态的神经网络

让我们来看一看只有单隐藏层的多层感知机。 设隐藏层的激活函数为ϕ\phiϕ， 给定一个小批量样本X∈Rn×d\mathbf{X} \in \mathbb{R}^{n \times d}X∈Rn×d， 其中批量大小为nnn，输入维度为ddd， 则隐藏层的输出H∈Rn×h\mathbf{H} \in \mathbb{R}^{n \times h}H∈Rn×h通过下式计算：

H=ϕ(XWxh+bh).\mathbf{H} = \phi(\mathbf{X} \mathbf{W}_{xh} + \mathbf{b}_h).H=ϕ(XWxh​+bh​).
在语言模型与数据集一节中， 我们拥有的隐藏层权重参数为Wxh∈Rd×h\mathbf{W}_{xh} \in \mathbb{R}^{d \times h}Wxh​∈Rd×h， 偏置参数为bh∈R1×h\mathbf{b}_h \in \mathbb{R}^{1 \times h}bh​∈R1×h， 以及隐藏单元的数目为hhh。 因此求和时可以应用广播机制 。 接下来，将隐藏变量HHH用作输出层的输入。 输出层由下式给出：

O=HWhq+bq,\mathbf{O} = \mathbf{H} \mathbf{W}_{hq} + \mathbf{b}_q,O=HWhq​+bq​,
其中，O∈Rn×q\mathbf{O} \in \mathbb{R}^{n \times q}O∈Rn×q是输出变量，Whq∈Rh×q\mathbf{W}_{hq} \in \mathbb{R}^{h \times q}Whq​∈Rh×q 是权重参数，bq∈R1×q\mathbf{b}_q \in \mathbb{R}^{1 \times q}bq​∈R1×q 是输出层的偏置参数。 如果是分类问题，我们可以用softmax(O)\text{softmax}(\mathbf{O})softmax(O)来计算输出类别的概率分布。

这完全类似于之前解决的回归问题， 因此我们省略了细节。 无须多言，只要可以随机选择“特征-标签”对， 并且通过自动微分和随机梯度下降能够学习网络参数就可以了。

2 有隐状态的循环神经网络

有了隐状态后，情况就完全不同了。 假设我们在时间步ttt有小批量输入Xt∈Rn×d\mathbf{X}_t \in \mathbb{R}^{n \times d}Xt​∈Rn×d。 换言之，对于nnn个序列样本的小批量， Xt\mathbf{X}_tXt​的每一行对应于来自该序列的时间步ttt处的一个样本。 接下来，用Ht∈Rn×h\mathbf{H}_t \in \mathbb{R}^{n \times h}Ht​∈Rn×h表示时间步的隐藏变量。 与多层感知机不同的是， 我们在这里保存了前一个时间步的隐藏变量Ht−1\mathbf{H}_{t-1}Ht−1​， 并引入了一个新的权重参数Whh∈Rh×h\mathbf{W}_{hh} \in \mathbb{R}^{h \times h}Whh​∈Rh×h， 来描述如何在当前时间步中使用前一个时间步的隐藏变量。 具体地说，当前时间步隐藏变量由当前时间步的输入 与前一个时间步的隐藏变量一起计算得出：
Ht=ϕ(XtWxh+Ht−1Whh+bh).\mathbf{H}_t = \phi(\mathbf{X}_t \mathbf{W}_{xh} + \mathbf{H}_{t-1} \mathbf{W}_{hh} + \mathbf{b}_h).Ht​=ϕ(Xt​Wxh​+Ht−1​Whh​+bh​).
与H=ϕ(XWxh+bh).\mathbf{H} = \phi(\mathbf{X} \mathbf{W}_{xh} + \mathbf{b}_h).H=ϕ(XWxh​+bh​).相比，上式多添加了一项Ht−1Whh\mathbf{H}_{t-1} \mathbf{W}_{hh}Ht−1​Whh​， 从而实例化了ht=f(xt,ht−1).h_t = f(x_{t}, h_{t-1}).ht​=f(xt​,ht−1​).。 从相邻时间步的隐藏变量Ht\mathbf{H}_tHt​和Ht−1\mathbf{H}_{t-1}Ht−1​之间的关系可知， 这些变量捕获并保留了序列直到其当前时间步的历史信息， 就如当前时间步下神经网络的状态或记忆， 因此这样的隐藏变量被称为隐状态（hidden state）。 由于在当前时间步中， 隐状态使用的定义与前一个时间步中使用的定义相同， 因此上式的计算是循环的（recurrent）。 于是基于循环计算的隐状态神经网络被命名为 循环神经网络（recurrent neural network）。 在循环神经网络中执行Ht=ϕ(XtWxh+Ht−1Whh+bh).\mathbf{H}_t = \phi(\mathbf{X}_t \mathbf{W}_{xh} + \mathbf{H}_{t-1} \mathbf{W}_{hh} + \mathbf{b}_h).Ht​=ϕ(Xt​Wxh​+Ht−1​Whh​+bh​).计算的层称为循环层（recurrent layer）。

有许多不同的方法可以构建循环神经网络， 由Ht=ϕ(XtWxh+Ht−1Whh+bh).\mathbf{H}_t = \phi(\mathbf{X}_t \mathbf{W}_{xh} + \mathbf{H}_{t-1} \mathbf{W}_{hh} + \mathbf{b}_h).Ht​=ϕ(Xt​Wxh​+Ht−1​Whh​+bh​).定义的隐状态的循环神经网络是非常常见的一种。 对于时间步ttt，输出层的输出类似于多层感知机中的计算：
Ot=HtWhq+bq.\mathbf{O}_t = \mathbf{H}_t \mathbf{W}_{hq} + \mathbf{b}_q.Ot​=Ht​Whq​+bq​.
循环神经网络的参数包括隐藏层的权重Wxh∈Rd×h,Whh∈Rh×h\mathbf{W}_{xh} \in \mathbb{R}^{d \times h}, \mathbf{W}_{hh} \in \mathbb{R}^{h \times h}Wxh​∈Rd×h,Whh​∈Rh×h和偏置bh∈R1×h\mathbf{b}_h \in \mathbb{R}^{1 \times h}bh​∈R1×h， 以及输出层的权重Whq∈Rh×q\mathbf{W}_{hq} \in \mathbb{R}^{h \times q}Whq​∈Rh×q和偏置bq∈R1×q\mathbf{b}_q \in \mathbb{R}^{1 \times q}bq​∈R1×q。 值得一提的是，即使在不同的时间步，循环神经网络也总是使用这些模型参数。 因此，循环神经网络的参数开销不会随着时间步的增加而增加。

下图展示了循环神经网络在三个相邻时间步的计算逻辑。 在任意时间步ttt，隐状态的计算可以被视为：

• 1、拼接当前时间步ttt的输入Xt\mathbf{X}_tXt​和前一时间步t−1t-1t−1的隐状态Ht−1\mathbf{H}_{t-1}Ht−1​；
• 2、将拼接的结果送入带有激活函数ϕ\phiϕ的全连接层。 全连接层的输出是当前时间步ttt的隐状态Ht\mathbf{H}_tHt​。

在本例中，模型参数是Wxh\mathbf{W}_{xh}Wxh​和Whh\mathbf{W}_{hh}Whh​的拼接， 以及bh\mathbf{b}_hbh​的偏置，所有这些参数都来自Ht=ϕ(XtWxh+Ht−1Whh+bh).\mathbf{H}_t = \phi(\mathbf{X}_t \mathbf{W}_{xh} + \mathbf{H}_{t-1} \mathbf{W}_{hh} + \mathbf{b}_h).Ht​=ϕ(Xt​Wxh​+Ht−1​Whh​+bh​).。 当前时间步ttt的隐状态Ht\mathbf{H}_tHt​将参与计算下一时间步t+1t+1t+1的隐状态Ht+1\mathbf{H}_{t+1}Ht+1​。 而且Ht\mathbf{H}_tHt​还将送入全连接输出层， 用于计算当前时间步ttt的输出Ot\mathbf{O}_tOt​。

我们刚才提到，隐状态中XtWxh+Ht−1Whh\mathbf{X}_t \mathbf{W}_{xh} + \mathbf{H}_{t-1} \mathbf{W}_{hh}Xt​Wxh​+Ht−1​Whh​的计算， 相当于Xt\mathbf{X}_tXt​和Ht−1\mathbf{H}_{t-1}Ht−1​的拼接与Wxh\mathbf{W}_{xh}Wxh​和Whh\mathbf{W}_{hh}Whh​的拼接的矩阵乘法。 虽然这个性质可以通过数学证明， 但在下面我们使用一个简单的代码来说明一下。 首先，我们定义矩阵X、W_xh、H和W_hh， 它们的形状分别为(3,1)、(1,4)、(3,4)、(4,4)(3,1)、(1,4)、(3,4)、(4,4)(3,1)、(1,4)、(3,4)、(4,4)。 分别将X乘以W_xh，将H乘以W_hh， 然后将这两个乘法相加，我们得到一个形状为(3,4)(3,4)(3,4)的矩阵。

import torch
from d2l import torch as d2lX, W_xh = torch.normal(0, 1, (3, 1)), torch.normal(0, 1, (1, 4))
H, W_hh = torch.normal(0, 1, (3, 4)), torch.normal(0, 1, (4, 4))
torch.matmul(X, W_xh) + torch.matmul(H, W_hh)

输出：

tensor([[-1.4258,  1.8849, -1.2227, -3.2763],[ 0.5912, -0.8081,  0.6962, -0.0819],[-3.9654,  1.2145, -4.2720, -0.6869]])

现在，我们沿列（轴1）拼接矩阵X和H， 沿行（轴0）拼接矩阵W_xh和W_hh。 这两个拼接分别产生形状(3,5)和形状(5,4)的矩阵。 再将这两个拼接的矩阵相乘， 我们得到与上面相同形状(3,4)的输出矩阵。

torch.matmul(torch.cat((X, H), 1), torch.cat((W_xh, W_hh), 0))

输出：

tensor([[-1.4258,  1.8849, -1.2227, -3.2763],[ 0.5912, -0.8081,  0.6962, -0.0819],[-3.9654,  1.2145, -4.2720, -0.6869]])

3 基于循环神经网络的字符级语言模型

回想一下语言模型， 我们的目标是根据过去的和当前的词元预测下一个词元， 因此我们将原始序列移位一个词元作为标签。 Bengio等人首先提出使用神经网络进行语言建模。 接下来，我们看一下如何使用循环神经网络来构建语言模型。 设小批量大小为1，批量中的那个文本序列为“machine”。 为了简化后续部分的训练，我们考虑使用字符级语言模型（character-level language model）， 将文本词元化为字符而不是单词。下图演示了如何通过基于字符级语言建模的循环神经网络， 使用当前的和先前的字符预测下一个字符。

在训练过程中，我们对每个时间步的输出层的输出进行softmax操作， 然后利用交叉熵损失计算模型输出和标签之间的误差。 由于隐藏层中隐状态的循环计算， 图中的第3个时间步的输出O3\mathbf{O}_3O3​由文本序列“m”、“a”和“c”确定。 由于训练数据中这个文本序列的下一个字符是“h”， 因此第3个时间步的损失将取决于下一个字符的概率分布， 而下一个字符是基于特征序列“m”、“a”、“c”和这个时间步的标签“h”生成的。

在实践中，我们使用的批量大小为n>1n>1n>1， 每个词元都由一个ddd维向量表示。 因此，在时间步ttt输入Xt\mathbf X_tXt​将是一个n×dn\times dn×d矩阵， 这与我们在文本预处理一节中的讨论相同。

因为每个输入词是一个字符，因此这个模型被称为字符级循环神经网络（character-level recurrent neural network）。因为不同字符的个数远小于不同词的个数（对于英文尤其如此），所以字符级循环神经网络的计算通常更加简单。

4 困惑度（Perplexity）

最后，让我们讨论如何度量语言模型的质量， 这将在后续部分中用于评估基于循环神经网络的模型。 一个好的语言模型能够用高度准确的词元来预测我们接下来会看到什么。 考虑一下由不同的语言模型给出的对“It is raining …”（“…下雨了”）的续写：

1、“It is raining outside”（外面下雨了）

2、“It is raining banana tree”（香蕉树下雨了）

3、“It is raining piouw;kcj pwepoiut”（piouw;kcj pwepoiut下雨了）

就质量而言，例1显然是最合乎情理、在逻辑上最连贯的。 虽然这个模型可能没有很准确地反映出后续词的语义， 比如，“It is raining in San Francisco”（旧金山下雨了） 和“It is raining in winter”（冬天下雨了） 可能才是更完美的合理扩展， 但该模型已经能够捕捉到跟在后面的是哪类单词。 例2则要糟糕得多，因为其产生了一个无意义的续写。 尽管如此，至少该模型已经学会了如何拼写单词， 以及单词之间的某种程度的相关性。 最后，例3表明了训练不足的模型是无法正确地拟合数据的。

我们可以通过计算序列的似然概率来度量模型的质量。 然而这是一个难以理解、难以比较的数字。 毕竟，较短的序列比较长的序列更有可能出现， 因此评估模型产生托尔斯泰的巨著《战争与和平》的可能性 不可避免地会比产生圣埃克苏佩里的中篇小说《小王子》可能性要小得多。 而缺少的可能性值相当于平均数。

在这里，信息论可以派上用场了。 我们在引入softmax回归时定义了熵、惊异和交叉熵， 并在信息论的在线附录 中讨论了更多的信息论知识。 如果想要压缩文本，我们可以根据当前词元集预测的下一个词元。 一个更好的语言模型应该能让我们更准确地预测下一个词元。 因此，它应该允许我们在压缩序列时花费更少的比特。 所以我们可以通过一个序列中所有的nnn个词元的交叉熵损失的平均值来衡量：
1n∑t=1n−log⁡P(xt∣xt−1,…,x1),\frac{1}{n} \sum_{t=1}^n -\log P(x_t \mid x_{t-1}, \ldots, x_1),n1​t=1∑n​−logP(xt​∣xt−1​,…,x1​),

其中PPP由语言模型给出， xtx_txt​是在时间步ttt从该序列中观察到的实际词元。 这使得不同长度的文档的性能具有了可比性。 由于历史原因，自然语言处理的科学家更喜欢使用一个叫做困惑度（perplexity）的量。 简而言之，它是 上式的指数：
exp⁡(−1n∑t=1nlog⁡P(xt∣xt−1,…,x1)).\exp\left(-\frac{1}{n} \sum_{t=1}^n \log P(x_t \mid x_{t-1}, \ldots, x_1)\right).exp(−n1​t=1∑n​logP(xt​∣xt−1​,…,x1​)).
困惑度的最好的理解是“下一个词元的实际选择数的调和平均数”。 我们看看一些案例：

• 在最好的情况下，模型总是完美地估计标签词元的概率为1。 在这种情况下，模型的困惑度为1。

• 在最坏的情况下，模型总是预测标签词元的概率为0。 在这种情况下，困惑度是正无穷大。

• 在基线上，该模型的预测是词表的所有可用词元上的均匀分布。 在这种情况下，困惑度等于词表中唯一词元的数量。 事实上，如果我们在没有任何压缩的情况下存储序列， 这将是我们能做的最好的编码方式。 因此，这种方式提供了一个重要的上限， 而任何实际模型都必须超越这个上限。

在接下来的小节中，我们将基于循环神经网络实现字符级语言模型， 并使用困惑度来评估这样的模型。

5 小结

• 对隐状态使用循环计算的神经网络称为循环神经网络（RNN）。

• 循环神经网络的隐状态可以捕获直到当前时间步序列的历史信息。

• 循环神经网络模型的参数数量不会随着时间步的增加而增加。

• 我们可以使用循环神经网络创建字符级语言模型。

• 我们可以使用困惑度来评价语言模型的质量。