.. _sec_deep_rnn:
深度循环神经网络
================
到目前为止，我们只讨论了具有一个单向隐藏层的循环神经网络。
其中，隐变量和观测值与具体的函数形式的交互方式是相当随意的。
只要交互类型建模具有足够的灵活性，这就不是一个大问题。
然而，对一个单层来说，这可能具有相当的挑战性。
之前在线性模型中，我们通过添加更多的层来解决这个问题。
而在循环神经网络中，我们首先需要确定如何添加更多的层，
以及在哪里添加额外的非线性，因此这个问题有点棘手。
事实上，我们可以将多层循环神经网络堆叠在一起，
通过对几个简单层的组合，产生了一个灵活的机制。
特别是，数据可能与不同层的堆叠有关。
例如，我们可能希望保持有关金融市场状况 （熊市或牛市）的宏观数据可用，
而微观数据只记录较短期的时间动态。
:numref:`fig_deep_rnn`\ 描述了一个具有\ :math:`L`\ 个隐藏层的深度循环神经网络，
每个隐状态都连续地传递到当前层的下一个时间步和下一层的当前时间步。
.. _fig_deep_rnn:
.. figure:: ../img/deep-rnn.svg
深度循环神经网络结构
函数依赖关系
------------
我们可以将深度架构中的函数依赖关系形式化， 这个架构是由
:numref:`fig_deep_rnn`\ 中描述了\ :math:`L`\ 个隐藏层构成。
后续的讨论主要集中在经典的循环神经网络模型上，
但是这些讨论也适应于其他序列模型。
假设在时间步\ :math:`t`\ 有一个小批量的输入数据
:math:`\mathbf{X}_t \in \mathbb{R}^{n \times d}`
（样本数：\ :math:`n`\ ，每个样本中的输入数：\ :math:`d`\ ）。
同时，将\ :math:`l^\mathrm{th}`\ 隐藏层（\ :math:`l=1,\ldots,L`\ ）
的隐状态设为\ :math:`\mathbf{H}_t^{(l)} \in \mathbb{R}^{n \times h}`
（隐藏单元数：\ :math:`h`\ ），
输出层变量设为\ :math:`\mathbf{O}_t \in \mathbb{R}^{n \times q}`
（输出数：\ :math:`q`\ ）。
设置\ :math:`\mathbf{H}_t^{(0)} = \mathbf{X}_t`\ ，
第\ :math:`l`\ 个隐藏层的隐状态使用激活函数\ :math:`\phi_l`\ ，则：
.. math:: \mathbf{H}_t^{(l)} = \phi_l(\mathbf{H}_t^{(l-1)} \mathbf{W}_{xh}^{(l)} + \mathbf{H}_{t-1}^{(l)} \mathbf{W}_{hh}^{(l)} + \mathbf{b}_h^{(l)}),
:label: eq_deep_rnn_H
其中，权重\ :math:`\mathbf{W}_{xh}^{(l)} \in \mathbb{R}^{h \times h}`\ ，
:math:`\mathbf{W}_{hh}^{(l)} \in \mathbb{R}^{h \times h}`\ 和
偏置\ :math:`\mathbf{b}_h^{(l)} \in \mathbb{R}^{1 \times h}`
都是第\ :math:`l`\ 个隐藏层的模型参数。
最后，输出层的计算仅基于第\ :math:`l`\ 个隐藏层最终的隐状态：
.. math:: \mathbf{O}_t = \mathbf{H}_t^{(L)} \mathbf{W}_{hq} + \mathbf{b}_q,
其中，权重\ :math:`\mathbf{W}_{hq} \in \mathbb{R}^{h \times q}`\ 和偏置\ :math:`\mathbf{b}_q \in \mathbb{R}^{1 \times q}`\ 都是输出层的模型参数。
与多层感知机一样，隐藏层数目\ :math:`L`\ 和隐藏单元数目\ :math:`h`\ 都是超参数。
也就是说，它们可以由我们调整的。
另外，用门控循环单元或长短期记忆网络的隐状态 来代替
:eq:`eq_deep_rnn_H`\ 中的隐状态进行计算，
可以很容易地得到深度门控循环神经网络或深度长短期记忆神经网络。
简洁实现
--------
实现多层循环神经网络所需的许多逻辑细节在高级API中都是现成的。
简单起见，我们仅示范使用此类内置函数的实现方式。
以长短期记忆网络模型为例， 该代码与之前在
:numref:`sec_lstm`\ 中使用的代码非常相似，
实际上唯一的区别是我们指定了层的数量， 而不是使用单一层这个默认值。
像往常一样，我们从加载数据集开始。
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
from mxnet import npx
from mxnet.gluon import rnn
from d2l import mxnet as d2l
npx.set_np()
batch_size, num_steps = 32, 35
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
import torch
from torch import nn
from d2l import torch as d2l
batch_size, num_steps = 32, 35
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
import warnings
from d2l import paddle as d2l
warnings.filterwarnings("ignore")
import paddle
from paddle import nn
batch_size, num_steps = 32, 35
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
vocab_size, num_hiddens, num_layers = len(vocab), 256, 2
device = d2l.try_gpu()
lstm_layer = rnn.LSTM(num_hiddens, num_layers)
model = d2l.RNNModel(lstm_layer, len(vocab))
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
vocab_size, num_hiddens, num_layers = len(vocab), 256, 2
num_inputs = vocab_size
device = d2l.try_gpu()
lstm_layer = nn.LSTM(num_inputs, num_hiddens, num_layers)
model = d2l.RNNModel(lstm_layer, len(vocab))
model = model.to(device)
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
vocab_size, num_hiddens, num_layers = len(vocab), 256, 2
num_inputs = vocab_size
device = d2l.try_gpu()
lstm_layer = nn.LSTM(num_inputs, num_hiddens, num_layers, time_major=True)
model = d2l.RNNModel(lstm_layer, len(vocab))
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
W0818 09:32:23.086558 9571 gpu_resources.cc:61] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 11.8, Runtime API Version: 11.8
W0818 09:32:23.117022 9571 gpu_resources.cc:91] device: 0, cuDNN Version: 8.7.
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
num_epochs, lr = 500, 2
d2l.train_ch8(model, train_iter, vocab, lr*1.0, num_epochs, device)
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
perplexity 1.0, 131051.0 tokens/sec on gpu(0)
time travelleryou can show black is white by argument said filby
traveller with a slight accession ofcheerfulness really thi
.. figure:: output_deep-rnn_d70a11_27_1.svg
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
num_epochs, lr = 500, 2
d2l.train_ch8(model, train_iter, vocab, lr*1.0, num_epochs, device)
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
perplexity 1.0, 186005.7 tokens/sec on cuda:0
time traveller for so it will be convenient to speak of himwas e
travelleryou can show black is white by argument said filby
.. figure:: output_deep-rnn_d70a11_30_1.svg
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
num_epochs, lr = 500, 2
d2l.train_ch8(model, train_iter, vocab, lr*1.0, num_epochs, device)
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
困惑度 1.0, 105923.3 词元/秒 Place(gpu:0)
time traveller smiled rour aro i have been at work upon thisgeom
travelleryou can show black is white by argument said filby
.. figure:: output_deep-rnn_d70a11_33_1.svg
.. raw:: html
.. raw:: html
.. raw:: html
`Discussions `__
.. raw:: html
.. raw:: html
`Discussions `__
.. raw:: html
.. raw:: html
`Discussions `__
.. raw:: html
.. raw:: html