.. _sec_padding: 填充和步幅 ========== 在前面的例子 :numref:`fig_correlation`\ 中,输入的高度和宽度都为\ :math:`3`\ ,卷积核的高度和宽度都为\ :math:`2`\ ,生成的输出表征的维数为\ :math:`2\times2`\ 。 正如我们在 :numref:`sec_conv_layer`\ 中所概括的那样,假设输入形状为\ :math:`n_h\times n_w`\ ,卷积核形状为\ :math:`k_h\times k_w`\ ,那么输出形状将是\ :math:`(n_h-k_h+1) \times (n_w-k_w+1)`\ 。 因此,卷积的输出形状取决于输入形状和卷积核的形状。 还有什么因素会影响输出的大小呢?本节我们将介绍\ *填充*\ (padding)和\ *步幅*\ (stride)。假设以下情景: 有时,在应用了连续的卷积之后,我们最终得到的输出远小于输入大小。这是由于卷积核的宽度和高度通常大于\ :math:`1`\ 所导致的。比如,一个\ :math:`240 \times 240`\ 像素的图像,经过\ :math:`10`\ 层\ :math:`5 \times 5`\ 的卷积后,将减少到\ :math:`200 \times 200`\ 像素。如此一来,原始图像的边界丢失了许多有用信息。而\ *填充*\ 是解决此问题最有效的方法; 有时,我们可能希望大幅降低图像的宽度和高度。例如,如果我们发现原始的输入分辨率十分冗余。\ *步幅*\ 则可以在这类情况下提供帮助。 填充 ---- 如上所述,在应用多层卷积时,我们常常丢失边缘像素。 由于我们通常使用小卷积核,因此对于任何单个卷积,我们可能只会丢失几个像素。 但随着我们应用许多连续卷积层,累积丢失的像素数就多了。 解决这个问题的简单方法即为\ *填充*\ (padding):在输入图像的边界填充元素(通常填充元素是\ :math:`0`\ )。 例如,在 :numref:`img_conv_pad`\ 中,我们将\ :math:`3 \times 3`\ 输入填充到\ :math:`5 \times 5`\ ,那么它的输出就增加为\ :math:`4 \times 4`\ 。阴影部分是第一个输出元素以及用于输出计算的输入和核张量元素: :math:`0\times0+0\times1+0\times2+0\times3=0`\ 。 .. _img_conv_pad: .. figure:: ../img/conv-pad.svg 带填充的二维互相关。 通常,如果我们添加\ :math:`p_h`\ 行填充(大约一半在顶部,一半在底部)和\ :math:`p_w`\ 列填充(左侧大约一半,右侧一半),则输出形状将为 .. math:: (n_h-k_h+p_h+1)\times(n_w-k_w+p_w+1)。 这意味着输出的高度和宽度将分别增加\ :math:`p_h`\ 和\ :math:`p_w`\ 。 在许多情况下,我们需要设置\ :math:`p_h=k_h-1`\ 和\ :math:`p_w=k_w-1`\ ,使输入和输出具有相同的高度和宽度。 这样可以在构建网络时更容易地预测每个图层的输出形状。假设\ :math:`k_h`\ 是奇数,我们将在高度的两侧填充\ :math:`p_h/2`\ 行。 如果\ :math:`k_h`\ 是偶数,则一种可能性是在输入顶部填充\ :math:`\lceil p_h/2\rceil`\ 行,在底部填充\ :math:`\lfloor p_h/2\rfloor`\ 行。同理,我们填充宽度的两侧。 卷积神经网络中卷积核的高度和宽度通常为奇数,例如1、3、5或7。 选择奇数的好处是,保持空间维度的同时,我们可以在顶部和底部填充相同数量的行,在左侧和右侧填充相同数量的列。 此外,使用奇数的核大小和填充大小也提供了书写上的便利。对于任何二维张量\ ``X``\ ,当满足: 1. 卷积核的大小是奇数; 2. 所有边的填充行数和列数相同; 3. 输出与输入具有相同高度和宽度 则可以得出:输出\ ``Y[i, j]``\ 是通过以输入\ ``X[i, j]``\ 为中心,与卷积核进行互相关计算得到的。 比如,在下面的例子中,我们创建一个高度和宽度为3的二维卷积层,并在所有侧边填充1个像素。给定高度和宽度为8的输入,则输出的高度和宽度也是8。 .. raw:: html
mxnetpytorchtensorflowpaddle
.. raw:: html
.. raw:: latex \diilbookstyleinputcell .. code:: python from mxnet import np, npx from mxnet.gluon import nn npx.set_np() # 为了方便起见,我们定义了一个计算卷积层的函数。 # 此函数初始化卷积层权重,并对输入和输出提高和缩减相应的维数 def comp_conv2d(conv2d, X): conv2d.initialize() # 这里的(1,1)表示批量大小和通道数都是1 X = X.reshape((1, 1) + X.shape) Y = conv2d(X) # 省略前两个维度:批量大小和通道 return Y.reshape(Y.shape[2:]) # 请注意,这里每边都填充了1行或1列,因此总共添加了2行或2列 conv2d = nn.Conv2D(1, kernel_size=3, padding=1) X = np.random.uniform(size=(8, 8)) comp_conv2d(conv2d, X).shape .. raw:: latex \diilbookstyleoutputcell .. parsed-literal:: :class: output [07:14:40] ../src/storage/storage.cc:196: Using Pooled (Naive) StorageManager for CPU .. raw:: latex \diilbookstyleoutputcell .. parsed-literal:: :class: output (8, 8) .. raw:: html
.. raw:: html
.. raw:: latex \diilbookstyleinputcell .. code:: python import torch from torch import nn # 为了方便起见,我们定义了一个计算卷积层的函数。 # 此函数初始化卷积层权重,并对输入和输出提高和缩减相应的维数 def comp_conv2d(conv2d, X): # 这里的(1,1)表示批量大小和通道数都是1 X = X.reshape((1, 1) + X.shape) Y = conv2d(X) # 省略前两个维度:批量大小和通道 return Y.reshape(Y.shape[2:]) # 请注意,这里每边都填充了1行或1列,因此总共添加了2行或2列 conv2d = nn.Conv2d(1, 1, kernel_size=3, padding=1) X = torch.rand(size=(8, 8)) comp_conv2d(conv2d, X).shape .. raw:: latex \diilbookstyleoutputcell .. parsed-literal:: :class: output torch.Size([8, 8]) .. raw:: html
.. raw:: html
.. raw:: latex \diilbookstyleinputcell .. code:: python import tensorflow as tf # 为了方便起见,我们定义了一个计算卷积层的函数。 # 此函数初始化卷积层权重,并对输入和输出提高和缩减相应的维数 def comp_conv2d(conv2d, X): # 这里的(1,1)表示批量大小和通道数都是1 X = tf.reshape(X, (1, ) + X.shape + (1, )) Y = conv2d(X) # 省略前两个维度:批量大小和通道 return tf.reshape(Y, Y.shape[1:3]) # 请注意,这里每边都填充了1行或1列,因此总共添加了2行或2列 conv2d = tf.keras.layers.Conv2D(1, kernel_size=3, padding='same') X = tf.random.uniform(shape=(8, 8)) comp_conv2d(conv2d, X).shape .. raw:: latex \diilbookstyleoutputcell .. parsed-literal:: :class: output TensorShape([8, 8]) .. raw:: html
.. raw:: html
.. raw:: latex \diilbookstyleinputcell .. code:: python import warnings warnings.filterwarnings(action='ignore') import paddle from paddle import nn # 为了方便起见,我们定义了一个计算卷积层的函数。 # 此函数初始化卷积层权重,并对输入和输出提高和缩减相应的维数 def comp_conv2d(conv2d, X): # 这里的(1,1)表示批量大小和通道数都是1 X = paddle.reshape(X, [1, 1] + X.shape) Y = conv2d(X) return Y.reshape(Y.shape[2:]) # 排除不关心的前两维:批量和通道 # 请注意,这里每边都填充了1行或1列,因此总共添加了2行或2列 conv2d = nn.Conv2D(in_channels=1, out_channels=1, kernel_size=3, padding=1) X = paddle.rand((8, 8)) comp_conv2d(conv2d, X).shape .. raw:: latex \diilbookstyleoutputcell .. parsed-literal:: :class: output [8, 8] .. raw:: html
.. raw:: html
当卷积核的高度和宽度不同时,我们可以填充不同的高度和宽度,使输出和输入具有相同的高度和宽度。在如下示例中,我们使用高度为5,宽度为3的卷积核,高度和宽度两边的填充分别为2和1。 .. raw:: html
mxnetpytorchtensorflowpaddle
.. raw:: html
.. raw:: latex \diilbookstyleinputcell .. code:: python conv2d = nn.Conv2D(1, kernel_size=(5, 3), padding=(2, 1)) comp_conv2d(conv2d, X).shape .. raw:: latex \diilbookstyleoutputcell .. parsed-literal:: :class: output (8, 8) .. raw:: html
.. raw:: html
.. raw:: latex \diilbookstyleinputcell .. code:: python conv2d = nn.Conv2d(1, 1, kernel_size=(5, 3), padding=(2, 1)) comp_conv2d(conv2d, X).shape .. raw:: latex \diilbookstyleoutputcell .. parsed-literal:: :class: output torch.Size([8, 8]) .. raw:: html
.. raw:: html
.. raw:: latex \diilbookstyleinputcell .. code:: python conv2d = tf.keras.layers.Conv2D(1, kernel_size=(5, 3), padding='same') comp_conv2d(conv2d, X).shape .. raw:: latex \diilbookstyleoutputcell .. parsed-literal:: :class: output TensorShape([8, 8]) .. raw:: html
.. raw:: html
.. raw:: latex \diilbookstyleinputcell .. code:: python conv2d = nn.Conv2D(in_channels=1, out_channels=1, kernel_size=(5, 3), padding=(2, 1)) comp_conv2d(conv2d, X).shape .. raw:: latex \diilbookstyleoutputcell .. parsed-literal:: :class: output [8, 8] .. raw:: html
.. raw:: html
步幅 ---- 在计算互相关时,卷积窗口从输入张量的左上角开始,向下、向右滑动。 在前面的例子中,我们默认每次滑动一个元素。 但是,有时候为了高效计算或是缩减采样次数,卷积窗口可以跳过中间位置,每次滑动多个元素。 我们将每次滑动元素的数量称为\ *步幅*\ (stride)。到目前为止,我们只使用过高度或宽度为\ :math:`1`\ 的步幅,那么如何使用较大的步幅呢? :numref:`img_conv_stride`\ 是垂直步幅为\ :math:`3`\ ,水平步幅为\ :math:`2`\ 的二维互相关运算。 着色部分是输出元素以及用于输出计算的输入和内核张量元素:\ :math:`0\times0+0\times1+1\times2+2\times3=8`\ 、\ :math:`0\times0+6\times1+0\times2+0\times3=6`\ 。 可以看到,为了计算输出中第一列的第二个元素和第一行的第二个元素,卷积窗口分别向下滑动三行和向右滑动两列。但是,当卷积窗口继续向右滑动两列时,没有输出,因为输入元素无法填充窗口(除非我们添加另一列填充)。 .. _img_conv_stride: .. figure:: ../img/conv-stride.svg 垂直步幅为 :math:`3`\ ,水平步幅为 :math:`2` 的二维互相关运算。 通常,当垂直步幅为\ :math:`s_h`\ 、水平步幅为\ :math:`s_w`\ 时,输出形状为 .. math:: \lfloor(n_h-k_h+p_h+s_h)/s_h\rfloor \times \lfloor(n_w-k_w+p_w+s_w)/s_w\rfloor. 如果我们设置了\ :math:`p_h=k_h-1`\ 和\ :math:`p_w=k_w-1`\ ,则输出形状将简化为\ :math:`\lfloor(n_h+s_h-1)/s_h\rfloor \times \lfloor(n_w+s_w-1)/s_w\rfloor`\ 。 更进一步,如果输入的高度和宽度可以被垂直和水平步幅整除,则输出形状将为\ :math:`(n_h/s_h) \times (n_w/s_w)`\ 。 下面,我们将高度和宽度的步幅设置为2,从而将输入的高度和宽度减半。 .. raw:: html
mxnetpytorchtensorflowpaddle
.. raw:: html
.. raw:: latex \diilbookstyleinputcell .. code:: python conv2d = nn.Conv2D(1, kernel_size=3, padding=1, strides=2) comp_conv2d(conv2d, X).shape .. raw:: latex \diilbookstyleoutputcell .. parsed-literal:: :class: output (4, 4) .. raw:: html
.. raw:: html
.. raw:: latex \diilbookstyleinputcell .. code:: python conv2d = nn.Conv2d(1, 1, kernel_size=3, padding=1, stride=2) comp_conv2d(conv2d, X).shape .. raw:: latex \diilbookstyleoutputcell .. parsed-literal:: :class: output torch.Size([4, 4]) .. raw:: html
.. raw:: html
.. raw:: latex \diilbookstyleinputcell .. code:: python conv2d = tf.keras.layers.Conv2D(1, kernel_size=3, padding='same', strides=2) comp_conv2d(conv2d, X).shape .. raw:: latex \diilbookstyleoutputcell .. parsed-literal:: :class: output TensorShape([4, 4]) .. raw:: html
.. raw:: html
.. raw:: latex \diilbookstyleinputcell .. code:: python conv2d = nn.Conv2D(1, 1, kernel_size=3, padding=1, stride=2) comp_conv2d(conv2d, X).shape .. raw:: latex \diilbookstyleoutputcell .. parsed-literal:: :class: output [4, 4] .. raw:: html
.. raw:: html
接下来,看一个稍微复杂的例子。 .. raw:: html
mxnetpytorchtensorflowpaddle
.. raw:: html
.. raw:: latex \diilbookstyleinputcell .. code:: python conv2d = nn.Conv2D(1, kernel_size=(3, 5), padding=(0, 1), strides=(3, 4)) comp_conv2d(conv2d, X).shape .. raw:: latex \diilbookstyleoutputcell .. parsed-literal:: :class: output (2, 2) .. raw:: html
.. raw:: html
.. raw:: latex \diilbookstyleinputcell .. code:: python conv2d = nn.Conv2d(1, 1, kernel_size=(3, 5), padding=(0, 1), stride=(3, 4)) comp_conv2d(conv2d, X).shape .. raw:: latex \diilbookstyleoutputcell .. parsed-literal:: :class: output torch.Size([2, 2]) .. raw:: html
.. raw:: html
.. raw:: latex \diilbookstyleinputcell .. code:: python conv2d = tf.keras.layers.Conv2D(1, kernel_size=(3,5), padding='valid', strides=(3, 4)) comp_conv2d(conv2d, X).shape .. raw:: latex \diilbookstyleoutputcell .. parsed-literal:: :class: output TensorShape([2, 1]) .. raw:: html
.. raw:: html
.. raw:: latex \diilbookstyleinputcell .. code:: python conv2d = nn.Conv2D(1, 1, kernel_size=(3, 5), padding=(0, 1), stride=(3, 4)) comp_conv2d(conv2d, X).shape .. raw:: latex \diilbookstyleoutputcell .. parsed-literal:: :class: output [2, 2] .. raw:: html
.. raw:: html
为了简洁起见,当输入高度和宽度两侧的填充数量分别为\ :math:`p_h`\ 和\ :math:`p_w`\ 时,我们称之为填充\ :math:`(p_h, p_w)`\ 。当\ :math:`p_h = p_w = p`\ 时,填充是\ :math:`p`\ 。同理,当高度和宽度上的步幅分别为\ :math:`s_h`\ 和\ :math:`s_w`\ 时,我们称之为步幅\ :math:`(s_h, s_w)`\ 。特别地,当\ :math:`s_h = s_w = s`\ 时,我们称步幅为\ :math:`s`\ 。默认情况下,填充为0,步幅为1。在实践中,我们很少使用不一致的步幅或填充,也就是说,我们通常有\ :math:`p_h = p_w`\ 和\ :math:`s_h = s_w`\ 。 小结 ---- - 填充可以增加输出的高度和宽度。这常用来使输出与输入具有相同的高和宽。 - 步幅可以减小输出的高和宽,例如输出的高和宽仅为输入的高和宽的\ :math:`1/n`\ (\ :math:`n`\ 是一个大于\ :math:`1`\ 的整数)。 - 填充和步幅可用于有效地调整数据的维度。 练习 ---- 1. 对于本节中的最后一个示例,计算其输出形状,以查看它是否与实验结果一致。 2. 在本节中的实验中,试一试其他填充和步幅组合。 3. 对于音频信号,步幅\ :math:`2`\ 说明什么? 4. 步幅大于\ :math:`1`\ 的计算优势是什么? .. raw:: html
mxnetpytorchtensorflowpaddle
.. raw:: html
`Discussions `__ .. raw:: html
.. raw:: html
`Discussions `__ .. raw:: html
.. raw:: html
`Discussions `__ .. raw:: html
.. raw:: html
`Discussions `__ .. raw:: html
.. raw:: html