.. _sec_use_gpu:

GPU
===


在 :numref:`tab_intro_decade`\ 中，
我们回顾了过去20年计算能力的快速增长。
简而言之，自2000年以来，GPU性能每十年增长1000倍。

本节，我们将讨论如何利用这种计算性能进行研究。
首先是如何使用单个GPU，然后是如何使用多个GPU和多个服务器（具有多个GPU）。

我们先看看如何使用单个NVIDIA GPU进行计算。
首先，确保至少安装了一个NVIDIA GPU。
然后，下载\ `NVIDIA驱动和CUDA <https://developer.nvidia.com/cuda-downloads>`__
并按照提示设置适当的路径。
当这些准备工作完成，就可以使用\ ``nvidia-smi``\ 命令来查看显卡信息。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-1-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-1-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a><a href="#tensorflow-1-2" onclick="tagClick('tensorflow'); return false;" class="mdl-tabs__tab ">tensorflow</a><a href="#paddle-1-3" onclick="tagClick('paddle'); return false;" class="mdl-tabs__tab ">paddle</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-1-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    !nvidia-smi


.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    Fri Aug 18 07:20:27 2023       
    +-----------------------------------------------------------------------------+
    | NVIDIA-SMI 470.161.03   Driver Version: 470.161.03   CUDA Version: 12.1     |
    |-------------------------------+----------------------+----------------------+
    | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
    |                               |                      |               MIG M. |
    |===============================+======================+======================|
    |   0  Tesla V100-SXM2...  Off  | 00000000:00:1B.0 Off |                    0 |
    | N/A   55C    P0    56W / 300W |    885MiB / 16160MiB |      0%      Default |
    |                               |                      |                  N/A |
    +-------------------------------+----------------------+----------------------+
    |   1  Tesla V100-SXM2...  Off  | 00000000:00:1C.0 Off |                    0 |
    | N/A   47C    P0    55W / 300W |      0MiB / 16160MiB |      0%      Default |
    |                               |                      |                  N/A |
    +-------------------------------+----------------------+----------------------+
    |   2  Tesla V100-SXM2...  Off  | 00000000:00:1D.0 Off |                    0 |
    | N/A   51C    P0    58W / 300W |    883MiB / 16160MiB |      1%      Default |
    |                               |                      |                  N/A |
    +-------------------------------+----------------------+----------------------+
    |   3  Tesla V100-SXM2...  Off  | 00000000:00:1E.0 Off |                    0 |
    | N/A   48C    P0    58W / 300W |      0MiB / 16160MiB |      3%      Default |
    |                               |                      |                  N/A |
    +-------------------------------+----------------------+----------------------+
                                                                                   
    +-----------------------------------------------------------------------------+
    | Processes:                                                                  |
    |  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
    |        ID   ID                                                   Usage      |
    |=============================================================================|
    +-----------------------------------------------------------------------------+


读者可能已经注意到MXNet张量看起来与NumPy的\ ``ndarray``\ 几乎相同。
但有一些关键区别，其中之一是MXNet支持不同的硬件设备。

在MXNet中，每个数组都有一个环境（context）。
默认情况下，所有变量和相关的计算都分配给CPU。 有时环境可能是GPU。
当我们跨多个服务器部署作业时，事情会变得更加棘手。
通过智能地将数组分配给环境，
我们可以最大限度地减少在设备之间传输数据的时间。
例如，当在带有GPU的服务器上训练神经网络时，
我们通常希望模型的参数在GPU上。

接下来，我们需要确认是否安装了MXNet的GPU版本。
如果已经安装了MXNet的CPU版本，我们需要先卸载它。
例如，使用\ ``pip uninstall mxnet``\ 命令，
然后根据CUDA版本安装相应的MXNet的GPU版本。
例如，假设已经安装了CUDA10.0，可以通过\ ``pip install mxnet-cu100``\ 安装支持CUDA10.0的MXNet版本。



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-1-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    !nvidia-smi


.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    Fri Aug 18 06:58:06 2023       
    +-----------------------------------------------------------------------------+
    | NVIDIA-SMI 470.161.03   Driver Version: 470.161.03   CUDA Version: 11.7     |
    |-------------------------------+----------------------+----------------------+
    | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
    |                               |                      |               MIG M. |
    |===============================+======================+======================|
    |   0  Tesla V100-SXM2...  Off  | 00000000:00:1B.0 Off |                    0 |
    | N/A   41C    P0    42W / 300W |      0MiB / 16160MiB |      0%      Default |
    |                               |                      |                  N/A |
    +-------------------------------+----------------------+----------------------+
    |   1  Tesla V100-SXM2...  Off  | 00000000:00:1C.0 Off |                    0 |
    | N/A   44C    P0   113W / 300W |   1456MiB / 16160MiB |     53%      Default |
    |                               |                      |                  N/A |
    +-------------------------------+----------------------+----------------------+
    |   2  Tesla V100-SXM2...  Off  | 00000000:00:1D.0 Off |                    0 |
    | N/A   43C    P0   120W / 300W |   1358MiB / 16160MiB |     55%      Default |
    |                               |                      |                  N/A |
    +-------------------------------+----------------------+----------------------+
    |   3  Tesla V100-SXM2...  Off  | 00000000:00:1E.0 Off |                    0 |
    | N/A   42C    P0    47W / 300W |      0MiB / 16160MiB |      0%      Default |
    |                               |                      |                  N/A |
    +-------------------------------+----------------------+----------------------+
                                                                                   
    +-----------------------------------------------------------------------------+
    | Processes:                                                                  |
    |  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
    |        ID   ID                                                   Usage      |
    |=============================================================================|
    +-----------------------------------------------------------------------------+


在PyTorch中，每个数组都有一个设备（device），
我们通常将其称为环境（context）。
默认情况下，所有变量和相关的计算都分配给CPU。 有时环境可能是GPU。
当我们跨多个服务器部署作业时，事情会变得更加棘手。
通过智能地将数组分配给环境，
我们可以最大限度地减少在设备之间传输数据的时间。
例如，当在带有GPU的服务器上训练神经网络时，
我们通常希望模型的参数在GPU上。



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="tensorflow-1-2">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    !nvidia-smi


.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    Fri Aug 18 06:58:40 2023       
    +-----------------------------------------------------------------------------+
    | NVIDIA-SMI 470.161.03   Driver Version: 470.161.03   CUDA Version: 11.8     |
    |-------------------------------+----------------------+----------------------+
    | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
    |                               |                      |               MIG M. |
    |===============================+======================+======================|
    |   0  Tesla V100-SXM2...  Off  | 00000000:00:1B.0 Off |                    0 |
    | N/A   41C    P0    54W / 300W |      0MiB / 16160MiB |      0%      Default |
    |                               |                      |                  N/A |
    +-------------------------------+----------------------+----------------------+
    |   1  Tesla V100-SXM2...  Off  | 00000000:00:1C.0 Off |                    0 |
    | N/A   42C    P0    53W / 300W |      0MiB / 16160MiB |      0%      Default |
    |                               |                      |                  N/A |
    +-------------------------------+----------------------+----------------------+
    |   2  Tesla V100-SXM2...  Off  | 00000000:00:1D.0 Off |                    0 |
    | N/A   41C    P0    57W / 300W |      0MiB / 16160MiB |      0%      Default |
    |                               |                      |                  N/A |
    +-------------------------------+----------------------+----------------------+
    |   3  Tesla V100-SXM2...  Off  | 00000000:00:1E.0 Off |                    0 |
    | N/A   43C    P0    59W / 300W |      0MiB / 16160MiB |      2%      Default |
    |                               |                      |                  N/A |
    +-------------------------------+----------------------+----------------------+
                                                                                   
    +-----------------------------------------------------------------------------+
    | Processes:                                                                  |
    |  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
    |        ID   ID                                                   Usage      |
    |=============================================================================|
    |  No running processes found                                                 |
    +-----------------------------------------------------------------------------+




.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="paddle-1-3">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    !nvidia-smi


.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    Fri Aug 18 09:06:07 2023       
    +-----------------------------------------------------------------------------+
    | NVIDIA-SMI 470.161.03   Driver Version: 470.161.03   CUDA Version: 11.8     |
    |-------------------------------+----------------------+----------------------+
    | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
    |                               |                      |               MIG M. |
    |===============================+======================+======================|
    |   0  Tesla V100-SXM2...  Off  | 00000000:00:1B.0 Off |                    0 |
    | N/A   47C    P0    54W / 300W |      0MiB / 16160MiB |      0%      Default |
    |                               |                      |                  N/A |
    +-------------------------------+----------------------+----------------------+
    |   1  Tesla V100-SXM2...  Off  | 00000000:00:1C.0 Off |                    0 |
    | N/A   43C    P0    53W / 300W |      0MiB / 16160MiB |      0%      Default |
    |                               |                      |                  N/A |
    +-------------------------------+----------------------+----------------------+
    |   2  Tesla V100-SXM2...  Off  | 00000000:00:1D.0 Off |                    0 |
    | N/A   43C    P0    55W / 300W |      0MiB / 16160MiB |      0%      Default |
    |                               |                      |                  N/A |
    +-------------------------------+----------------------+----------------------+
    |   3  Tesla V100-SXM2...  Off  | 00000000:00:1E.0 Off |                    0 |
    | N/A   45C    P0    58W / 300W |      3MiB / 16160MiB |      2%      Default |
    |                               |                      |                  N/A |
    +-------------------------------+----------------------+----------------------+
                                                                                   
    +-----------------------------------------------------------------------------+
    | Processes:                                                                  |
    |  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
    |        ID   ID                                                   Usage      |
    |=============================================================================|
    |  No running processes found                                                 |
    +-----------------------------------------------------------------------------+


在PaddlePaddle中，每个张量都有一个设备（device），
我们通常将其称为上下文（context）。
默认情况下，所有变量和相关的计算都分配给CPU。 有时上下文可能是GPU。
当我们跨多个服务器部署作业时，事情会变得更加棘手。
通过智能地将数组分配给上下文，
我们可以最大限度地减少在设备之间传输数据的时间。
例如，当在带有GPU的服务器上训练神经网络时，
我们通常希望模型的参数在GPU上。

接下来，我们需要确认安装了PaddlePaddle的GPU版本。
如果已经安装了PaddlePaddle的CPU版本，我们需要先卸载它。
然后根据你的CUDA版本安装相应的PaddlePaddle的GPU版本。
例如，假设你安装了CUDA10.1，你可以通过\ ``conda install paddlepaddle-gpu==2.2.2 cudatoolkit=10.1 --channel https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/``\ 安装支持CUDA10.1的PaddlePaddle版本。



.. raw:: html

    </div>



.. raw:: html

    </div>

要运行此部分中的程序，至少需要两个GPU。
注意，对大多数桌面计算机来说，这可能是奢侈的，但在云中很容易获得。
例如可以使用AWS EC2的多GPU实例。 本书的其他章节大都不需要多个GPU，
而本节只是为了展示数据如何在不同的设备之间传递。

计算设备
--------

我们可以指定用于存储和计算的设备，如CPU和GPU。
默认情况下，张量是在内存中创建的，然后使用CPU计算它。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar text"><a href="#mxnet-3-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-3-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a><a href="#tensorflow-3-2" onclick="tagClick('tensorflow'); return false;" class="mdl-tabs__tab ">tensorflow</a><a href="#paddle-3-3" onclick="tagClick('paddle'); return false;" class="mdl-tabs__tab ">paddle</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-3-0">

在MXNet中，CPU和GPU可以用\ ``cpu()``\ 和\ ``gpu()``\ 表示。
需要注意的是，\ ``cpu()``\ （或括号中的任意整数）表示所有物理CPU和内存，
这意味着MXNet的计算将尝试使用所有CPU核心。
然而，\ ``gpu()``\ 只代表一个卡和相应的显存。
如果有多个GPU，我们使用\ ``gpu(i)``\ 表示第\ :math:`i`\ 块GPU（\ :math:`i`\ 从0开始）。
另外，\ ``gpu(0)``\ 和\ ``gpu()``\ 是等价的。

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    from mxnet import np, npx
    from mxnet.gluon import nn
    
    npx.set_np()
    
    npx.cpu(), npx.gpu(), npx.gpu(1)




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    (cpu(0), gpu(0), gpu(1))





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-3-1">

在PyTorch中，CPU和GPU可以用\ ``torch.device('cpu')``
和\ ``torch.device('cuda')``\ 表示。
应该注意的是，\ ``cpu``\ 设备意味着所有物理CPU和内存，
这意味着PyTorch的计算将尝试使用所有CPU核心。
然而，\ ``gpu``\ 设备只代表一个卡和相应的显存。
如果有多个GPU，我们使用\ ``torch.device(f'cuda:{i}')``
来表示第\ :math:`i`\ 块GPU（\ :math:`i`\ 从0开始）。
另外，\ ``cuda:0``\ 和\ ``cuda``\ 是等价的。

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    import torch
    from torch import nn
    
    torch.device('cpu'), torch.device('cuda'), torch.device('cuda:1')




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    (device(type='cpu'), device(type='cuda'), device(type='cuda', index=1))





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="tensorflow-3-2">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    import tensorflow as tf
    
    tf.device('/CPU:0'), tf.device('/GPU:0'), tf.device('/GPU:1')




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    (<tensorflow.python.eager.context._EagerDeviceContext at 0x7fee482b4f00>,
     <tensorflow.python.eager.context._EagerDeviceContext at 0x7fee482b49c0>,
     <tensorflow.python.eager.context._EagerDeviceContext at 0x7fee482b48c0>)





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="paddle-3-3">

在飞桨中，CPU和GPU可以用\ ``paddle.device.set_device('cpu')``
和\ ``paddle.device.set_device('gpu')``\ 表示。
应该注意的是，\ ``cpu``\ 设备意味着所有物理CPU和内存,
这意味着飞桨的计算将尝试使用所有CPU核心。
然而，\ ``gpu``\ 设备只代表一个卡和相应的显存。
如果有多个GPU，我们使用\ ``paddle.device.get_device()``
其中输出的数字是表示的是卡号（比如\ ``gpu:3``\ ，表示的是卡3，注意GPU的卡号是从0开始的）。
另外，\ ``gpu:0``\ 和\ ``gpu``\ 是等价的。

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    import paddle
    from paddle import nn
    
    paddle.device.set_device("cpu"), paddle.CUDAPlace(0), paddle.CUDAPlace(1)




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    (Place(cpu), Place(gpu:0), Place(gpu:1))





.. raw:: html

    </div>



.. raw:: html

    </div>

我们可以查询可用gpu的数量。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-5-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-5-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a><a href="#tensorflow-5-2" onclick="tagClick('tensorflow'); return false;" class="mdl-tabs__tab ">tensorflow</a><a href="#paddle-5-3" onclick="tagClick('paddle'); return false;" class="mdl-tabs__tab ">paddle</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-5-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    npx.num_gpus()




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    2





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-5-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    torch.cuda.device_count()




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    2





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="tensorflow-5-2">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    len(tf.config.experimental.list_physical_devices('GPU'))




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    2





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="paddle-5-3">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    paddle.device.cuda.device_count()




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    2





.. raw:: html

    </div>



.. raw:: html

    </div>

现在我们定义了两个方便的函数，
这两个函数允许我们在不存在所需所有GPU的情况下运行代码。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-7-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-7-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a><a href="#tensorflow-7-2" onclick="tagClick('tensorflow'); return false;" class="mdl-tabs__tab ">tensorflow</a><a href="#paddle-7-3" onclick="tagClick('paddle'); return false;" class="mdl-tabs__tab ">paddle</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-7-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    def try_gpu(i=0):  #@save
        """如果存在，则返回gpu(i)，否则返回cpu()"""
        return npx.gpu(i) if npx.num_gpus() >= i + 1 else npx.cpu()
    
    def try_all_gpus():  #@save
        """返回所有可用的GPU，如果没有GPU，则返回[cpu()]"""
        devices = [npx.gpu(i) for i in range(npx.num_gpus())]
        return devices if devices else [npx.cpu()]
    
    try_gpu(), try_gpu(10), try_all_gpus()




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    (gpu(0), cpu(0), [gpu(0), gpu(1)])





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-7-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    def try_gpu(i=0):  #@save
        """如果存在，则返回gpu(i)，否则返回cpu()"""
        if torch.cuda.device_count() >= i + 1:
            return torch.device(f'cuda:{i}')
        return torch.device('cpu')
    
    def try_all_gpus():  #@save
        """返回所有可用的GPU，如果没有GPU，则返回[cpu(),]"""
        devices = [torch.device(f'cuda:{i}')
                 for i in range(torch.cuda.device_count())]
        return devices if devices else [torch.device('cpu')]
    
    try_gpu(), try_gpu(10), try_all_gpus()




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    (device(type='cuda', index=0),
     device(type='cpu'),
     [device(type='cuda', index=0), device(type='cuda', index=1)])





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="tensorflow-7-2">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    def try_gpu(i=0):  #@save
        """如果存在，则返回gpu(i)，否则返回cpu()"""
        if len(tf.config.experimental.list_physical_devices('GPU')) >= i + 1:
            return tf.device(f'/GPU:{i}')
        return tf.device('/CPU:0')
    
    def try_all_gpus():  #@save
        """返回所有可用的GPU，如果没有GPU，则返回[cpu(),]"""
        num_gpus = len(tf.config.experimental.list_physical_devices('GPU'))
        devices = [tf.device(f'/GPU:{i}') for i in range(num_gpus)]
        return devices if devices else [tf.device('/CPU:0')]
    
    try_gpu(), try_gpu(10), try_all_gpus()




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    (<tensorflow.python.eager.context._EagerDeviceContext at 0x7fecce154d00>,
     <tensorflow.python.eager.context._EagerDeviceContext at 0x7fecce14e5c0>,
     [<tensorflow.python.eager.context._EagerDeviceContext at 0x7fecce152080>,
      <tensorflow.python.eager.context._EagerDeviceContext at 0x7fecce152100>])





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="paddle-7-3">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    #@save
    def try_gpu(i=0):
        """如果存在，则返回gpu(i)，否则返回cpu()。"""
        if paddle.device.cuda.device_count() >= i + 1:
            return paddle.CUDAPlace(i)
        return paddle.CPUPlace()
    
    #@save
    def try_all_gpus():
        """返回所有可用的GPU，如果没有GPU，则返回[cpu(),]。"""
        devices = [paddle.CUDAPlace(i)
                   for i in range(paddle.device.cuda.device_count())]
        return devices if devices else paddle.CPUPlace()
    
    try_gpu(),try_gpu(10),try_all_gpus()




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    (Place(gpu:0), Place(cpu), [Place(gpu:0), Place(gpu:1)])





.. raw:: html

    </div>



.. raw:: html

    </div>

张量与GPU
---------

我们可以查询张量所在的设备。 默认情况下，张量是在CPU上创建的。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-9-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-9-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a><a href="#tensorflow-9-2" onclick="tagClick('tensorflow'); return false;" class="mdl-tabs__tab ">tensorflow</a><a href="#paddle-9-3" onclick="tagClick('paddle'); return false;" class="mdl-tabs__tab ">paddle</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-9-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    x = np.array([1, 2, 3])
    x.ctx


.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    [07:20:33] ../src/storage/storage.cc:196: Using Pooled (Naive) StorageManager for CPU




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    cpu(0)





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-9-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    x = torch.tensor([1, 2, 3])
    x.device




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    device(type='cpu')





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="tensorflow-9-2">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    x = tf.constant([1, 2, 3])
    x.device




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    '/job:localhost/replica:0/task:0/device:GPU:0'





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="paddle-9-3">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    x = paddle.to_tensor([1, 2, 3])
    x.place




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    Place(cpu)





.. raw:: html

    </div>



.. raw:: html

    </div>

需要注意的是，无论何时我们要对多个项进行操作，
它们都必须在同一个设备上。 例如，如果我们对两个张量求和，
我们需要确保两个张量都位于同一个设备上，
否则框架将不知道在哪里存储结果，甚至不知道在哪里执行计算。

存储在GPU上
~~~~~~~~~~~

有几种方法可以在GPU上存储张量。
例如，我们可以在创建张量时指定存储设备。接
下来，我们在第一个\ ``gpu``\ 上创建张量变量\ ``X``\ 。
在GPU上创建的张量只消耗这个GPU的显存。
我们可以使用\ ``nvidia-smi``\ 命令查看显存使用情况。
一般来说，我们需要确保不创建超过GPU显存限制的数据。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-11-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-11-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a><a href="#tensorflow-11-2" onclick="tagClick('tensorflow'); return false;" class="mdl-tabs__tab ">tensorflow</a><a href="#paddle-11-3" onclick="tagClick('paddle'); return false;" class="mdl-tabs__tab ">paddle</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-11-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    X = np.ones((2, 3), ctx=try_gpu())
    X


.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    [07:20:34] ../src/storage/storage.cc:196: Using Pooled (Naive) StorageManager for GPU




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    array([[1., 1., 1.],
           [1., 1., 1.]], ctx=gpu(0))





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-11-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    X = torch.ones(2, 3, device=try_gpu())
    X




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    tensor([[1., 1., 1.],
            [1., 1., 1.]], device='cuda:0')





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="tensorflow-11-2">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    with try_gpu():
        X = tf.ones((2, 3))
    X




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    <tf.Tensor: shape=(2, 3), dtype=float32, numpy=
    array([[1., 1., 1.],
           [1., 1., 1.]], dtype=float32)>





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="paddle-11-3">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    X = paddle.to_tensor(paddle.ones(shape=[2, 3]), place=try_gpu())
    X


.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    W0818 09:06:11.068089  2486 gpu_resources.cc:61] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 11.8, Runtime API Version: 11.8
    W0818 09:06:11.098250  2486 gpu_resources.cc:91] device: 0, cuDNN Version: 8.7.




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    Tensor(shape=[2, 3], dtype=float32, place=Place(gpu:0), stop_gradient=True,
           [[1., 1., 1.],
            [1., 1., 1.]])





.. raw:: html

    </div>



.. raw:: html

    </div>

假设我们至少有两个GPU，下面的代码将在第二个GPU上创建一个随机张量。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-13-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-13-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a><a href="#tensorflow-13-2" onclick="tagClick('tensorflow'); return false;" class="mdl-tabs__tab ">tensorflow</a><a href="#paddle-13-3" onclick="tagClick('paddle'); return false;" class="mdl-tabs__tab ">paddle</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-13-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    Y = np.random.uniform(size=(2, 3), ctx=try_gpu(1))
    Y


.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    [07:20:35] ../src/storage/storage.cc:196: Using Pooled (Naive) StorageManager for GPU




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    array([[0.67478997, 0.07540122, 0.9956977 ],
           [0.09488854, 0.415456  , 0.11231736]], ctx=gpu(1))





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-13-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    Y = torch.rand(2, 3, device=try_gpu(1))
    Y




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    tensor([[0.4860, 0.1285, 0.0440],
            [0.9743, 0.4159, 0.9979]], device='cuda:1')





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="tensorflow-13-2">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    with try_gpu(1):
        Y = tf.random.uniform((2, 3))
    Y




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    <tf.Tensor: shape=(2, 3), dtype=float32, numpy=
    array([[0.7405896 , 0.82039356, 0.7482799 ],
           [0.4989698 , 0.53144634, 0.8621385 ]], dtype=float32)>





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="paddle-13-3">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    Y = paddle.to_tensor(paddle.rand([2, 3]), place=try_gpu(1))
    Y




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    Tensor(shape=[2, 3], dtype=float32, place=Place(gpu:1), stop_gradient=True,
           [[0.60054642, 0.66369802, 0.89244127],
            [0.01530350, 0.93688911, 0.20288545]])





.. raw:: html

    </div>



.. raw:: html

    </div>

复制
~~~~

如果我们要计算\ ``X + Y``\ ，我们需要决定在哪里执行这个操作。 例如，如
:numref:`fig_copyto`\ 所示，
我们可以将\ ``X``\ 传输到第二个GPU并在那里执行操作。
*不要*\ 简单地\ ``X``\ 加上\ ``Y``\ ，因为这会导致异常，
运行时引擎不知道该怎么做：它在同一设备上找不到数据会导致失败。
由于\ ``Y``\ 位于第二个GPU上，所以我们需要将\ ``X``\ 移到那里，
然后才能执行相加运算。

.. _fig_copyto:

.. figure:: ../img/copyto.svg

   复制数据以在同一设备上执行操作




.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-15-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-15-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a><a href="#tensorflow-15-2" onclick="tagClick('tensorflow'); return false;" class="mdl-tabs__tab ">tensorflow</a><a href="#paddle-15-3" onclick="tagClick('paddle'); return false;" class="mdl-tabs__tab ">paddle</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-15-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    Z = X.copyto(try_gpu(1))
    print(X)
    print(Z)


.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    [[1. 1. 1.]
     [1. 1. 1.]] @gpu(0)
    [[1. 1. 1.]
     [1. 1. 1.]] @gpu(1)




.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-15-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    Z = X.cuda(1)
    print(X)
    print(Z)


.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    tensor([[1., 1., 1.],
            [1., 1., 1.]], device='cuda:0')
    tensor([[1., 1., 1.],
            [1., 1., 1.]], device='cuda:1')




.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="tensorflow-15-2">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    with try_gpu(1):
        Z = X
    print(X)
    print(Z)


.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    tf.Tensor(
    [[1. 1. 1.]
     [1. 1. 1.]], shape=(2, 3), dtype=float32)
    tf.Tensor(
    [[1. 1. 1.]
     [1. 1. 1.]], shape=(2, 3), dtype=float32)




.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="paddle-15-3">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    Z = X.cuda(1)
    print(X)
    print(Z)


.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    Tensor(shape=[2, 3], dtype=float32, place=Place(gpu:0), stop_gradient=True,
           [[1., 1., 1.],
            [1., 1., 1.]])
    Tensor(shape=[2, 3], dtype=float32, place=Place(gpu:1), stop_gradient=True,
           [[1., 1., 1.],
            [1., 1., 1.]])




.. raw:: html

    </div>



.. raw:: html

    </div>

现在数据在同一个GPU上（\ ``Z``\ 和\ ``Y``\ 都在），我们可以将它们相加。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-17-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-17-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a><a href="#tensorflow-17-2" onclick="tagClick('tensorflow'); return false;" class="mdl-tabs__tab ">tensorflow</a><a href="#paddle-17-3" onclick="tagClick('paddle'); return false;" class="mdl-tabs__tab ">paddle</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-17-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    Y + Z




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    array([[1.6747899, 1.0754012, 1.9956977],
           [1.0948886, 1.415456 , 1.1123173]], ctx=gpu(1))



假设变量\ ``Z``\ 已经存在于第二个GPU上。
如果现在我们还是调用\ ``Z.copyto(gpu(1))``\ 会发生什么？
即使该变量已经存在于目标设备（第二个GPU）上，
它仍将被复制并保存在新分配的显存中。
有时，我们只想在变量存在于不同设备中时进行复制。
在这种情况下，我们可以调用\ ``as_in_ctx``\ 。
如果变量已经存在于指定的设备中，则这不会进行任何操作。
除非我们特别想创建一个复制，否则选择\ ``as_in_ctx``\ 方法。

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    Z.as_in_ctx(try_gpu(1)) is Z




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    True





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-17-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    Y + Z




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    tensor([[1.4860, 1.1285, 1.0440],
            [1.9743, 1.4159, 1.9979]], device='cuda:1')



假设变量\ ``Z``\ 已经存在于第二个GPU上。
如果我们还是调用\ ``Z.cuda(1)``\ 会发生什么？
它将返回\ ``Z``\ ，而不会复制并分配新内存。

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    Z.cuda(1) is Z




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    True





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="tensorflow-17-2">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    Y + Z




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    <tf.Tensor: shape=(2, 3), dtype=float32, numpy=
    array([[1.7405896, 1.8203936, 1.7482799],
           [1.4989698, 1.5314463, 1.8621385]], dtype=float32)>



假设变量\ ``Z``\ 已经存在于第二个GPU上。
如果我们仍然在同一个设备作用域下调用\ ``Z2 = Z``\ 会发生什么？
它将返回\ ``Z``\ ，而不会复制并分配新内存。

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    with try_gpu(1):
        Z2 = Z
    Z2 is Z




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    True





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="paddle-17-3">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    Y + Z




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    Tensor(shape=[2, 3], dtype=float32, place=Place(cpu), stop_gradient=True,
           [[1.60054636, 1.66369796, 1.89244127],
            [1.01530349, 1.93688917, 1.20288539]])



.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    Z.cuda(1) is Z




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    False





.. raw:: html

    </div>



.. raw:: html

    </div>

旁注
~~~~

人们使用GPU来进行机器学习，因为单个GPU相对运行速度快。
但是在设备（CPU、GPU和其他机器）之间传输数据比计算慢得多。
这也使得并行化变得更加困难，因为我们必须等待数据被发送（或者接收），
然后才能继续进行更多的操作。 这就是为什么拷贝操作要格外小心。
根据经验，多个小操作比一个大操作糟糕得多。
此外，一次执行几个操作比代码中散布的许多单个操作要好得多。
如果一个设备必须等待另一个设备才能执行其他操作，
那么这样的操作可能会阻塞。
这有点像排队订购咖啡，而不像通过电话预先订购：
当客人到店的时候，咖啡已经准备好了。

最后，当我们打印张量或将张量转换为NumPy格式时，
如果数据不在内存中，框架会首先将其复制到内存中，
这会导致额外的传输开销。
更糟糕的是，它现在受制于全局解释器锁，使得一切都得等待Python完成。

神经网络与GPU
-------------

类似地，神经网络模型可以指定设备。 下面的代码将模型参数放在GPU上。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-19-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-19-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a><a href="#tensorflow-19-2" onclick="tagClick('tensorflow'); return false;" class="mdl-tabs__tab ">tensorflow</a><a href="#paddle-19-3" onclick="tagClick('paddle'); return false;" class="mdl-tabs__tab ">paddle</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-19-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    net = nn.Sequential()
    net.add(nn.Dense(1))
    net.initialize(ctx=try_gpu())



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-19-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    net = nn.Sequential(nn.Linear(3, 1))
    net = net.to(device=try_gpu())



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="tensorflow-19-2">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    strategy = tf.distribute.MirroredStrategy()
    with strategy.scope():
        net = tf.keras.models.Sequential([
            tf.keras.layers.Dense(1)])


.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:GPU:0', '/job:localhost/replica:0/task:0/device:GPU:1')




.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="paddle-19-3">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    net = nn.Sequential(nn.Linear(3, 1))
    net=net.to(try_gpu())



.. raw:: html

    </div>



.. raw:: html

    </div>

在接下来的几章中， 我们将看到更多关于如何在GPU上运行模型的例子，
因为它们将变得更加计算密集。

当输入为GPU上的张量时，模型将在同一GPU上计算结果。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-21-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-21-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a><a href="#tensorflow-21-2" onclick="tagClick('tensorflow'); return false;" class="mdl-tabs__tab ">tensorflow</a><a href="#paddle-21-3" onclick="tagClick('paddle'); return false;" class="mdl-tabs__tab ">paddle</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-21-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    net(X)




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    array([[0.04995865],
           [0.04995865]], ctx=gpu(0))





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-21-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    net(X)




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    tensor([[-0.4275],
            [-0.4275]], device='cuda:0', grad_fn=<AddmmBackward0>)





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="tensorflow-21-2">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    net(X)




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    <tf.Tensor: shape=(2, 1), dtype=float32, numpy=
    array([[-1.1429136],
           [-1.1429136]], dtype=float32)>





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="paddle-21-3">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    net(X)




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    Tensor(shape=[2, 1], dtype=float32, place=Place(cpu), stop_gradient=False,
           [[0.72271824],
            [0.72271824]])





.. raw:: html

    </div>



.. raw:: html

    </div>

让我们确认模型参数存储在同一个GPU上。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-23-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-23-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a><a href="#tensorflow-23-2" onclick="tagClick('tensorflow'); return false;" class="mdl-tabs__tab ">tensorflow</a><a href="#paddle-23-3" onclick="tagClick('paddle'); return false;" class="mdl-tabs__tab ">paddle</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-23-0">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    net[0].weight.data().ctx




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    gpu(0)





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-23-1">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    net[0].weight.data.device




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    device(type='cuda', index=0)





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="tensorflow-23-2">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    net.layers[0].weights[0].device, net.layers[0].weights[1].device




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    ('/job:localhost/replica:0/task:0/device:GPU:0',
     '/job:localhost/replica:0/task:0/device:GPU:0')





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="paddle-23-3">

.. raw:: latex

   \diilbookstyleinputcell

.. code:: python

    net[0].weight.place




.. raw:: latex

   \diilbookstyleoutputcell

.. parsed-literal::
    :class: output

    Place(cpu)





.. raw:: html

    </div>



.. raw:: html

    </div>

总之，只要所有的数据和参数都在同一个设备上， 我们就可以有效地学习模型。
在下面的章节中，我们将看到几个这样的例子。

小结
----

-  我们可以指定用于存储和计算的设备，例如CPU或GPU。默认情况下，数据在主内存中创建，然后使用CPU进行计算。
-  深度学习框架要求计算的所有输入数据都在同一设备上，无论是CPU还是GPU。
-  不经意地移动数据可能会显著降低性能。一个典型的错误如下：计算GPU上每个小批量的损失，并在命令行中将其报告给用户（或将其记录在NumPy
   ``ndarray``\ 中）时，将触发全局解释器锁，从而使所有GPU阻塞。最好是为GPU内部的日志分配内存，并且只移动较大的日志。

练习
----

1. 尝试一个计算量更大的任务，比如大矩阵的乘法，看看CPU和GPU之间的速度差异。再试一个计算量很小的任务呢？
2. 我们应该如何在GPU上读写模型参数？
3. 测量计算1000个\ :math:`100 \times 100`\ 矩阵的矩阵乘法所需的时间，并记录输出矩阵的Frobenius范数，一次记录一个结果，而不是在GPU上保存日志并仅传输最终结果。
4. 测量同时在两个GPU上执行两个矩阵乘法与在一个GPU上按顺序执行两个矩阵乘法所需的时间。提示：应该看到近乎线性的缩放。



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar text"><a href="#mxnet-25-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-25-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a><a href="#tensorflow-25-2" onclick="tagClick('tensorflow'); return false;" class="mdl-tabs__tab ">tensorflow</a><a href="#paddle-25-3" onclick="tagClick('paddle'); return false;" class="mdl-tabs__tab ">paddle</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-25-0">

`Discussions <https://discuss.d2l.ai/t/1843>`__



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-25-1">

`Discussions <https://discuss.d2l.ai/t/1841>`__



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="tensorflow-25-2">

`Discussions <https://discuss.d2l.ai/t/1842>`__



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="paddle-25-3">

`Discussions <https://discuss.d2l.ai/t/11782>`__



.. raw:: html

    </div>



.. raw:: html

    </div>