HCHUNGW的部落格

1.4 環境配置之CUDA&cuDNN

有了python環境和開發環境，馬上到主角登場。PyTorch登場前，針對GPU版，還需要額外安裝一些東西。

從1.1我們知道PyTorch的安裝可根據設備類型分為GPU版或CPU版。

CPU

對於CPU版本直接通過pip或者anaconda命令安裝即可，如：

>>> pip3 install torch torchvision torchaudio

Copy

具體的命令可查閱：https://pytorch.org/get-started/locally/

官網上給出的命令其實安裝了3個包，分別是torch, torchvision,torchaudio，這命令會根據當前系統自動選擇對應python版本的whl進行安裝，不需要使用者額外操作。但，如果網速不好，或者需要離線安裝，這時可以考慮下載whl包然後自行安裝，下載whl的連結：https://download.pytorch.org/whl/torch/

pytorch與torchvision版本匹配

若是手動下載的whl，需要注意pytorch與torchvision之間版本對應關係，這個可以到torchvision Github查看，這點非常重要，CV中一些報錯就是因為torchvision與pytorch版本不匹配導致的。這裡就copy過來，大家參考好了。

舉一反三，torchaudio、torchtext同理。

GPU版本

深度學習之所以能火，是因為有了強大的GPU支撐，自然地，絕大多數情況下我們會安裝GPU版本的pytorch。目前PyTorch不僅支持NVIDIA的GPU，還支持AMD的ROCm的GPU。不過我們還是以N卡為例，畢竟N卡還是主流，A卡仍需努力。

對於N卡，什麼型號是pytorch支持的呢？首先，需要計算能力（compute capability）≥3.0的GPU。很多地方都會看到計算能力≥3.0，理論出自哪呢？ 我在官方文檔中找到了相關資訊文檔

It has a CUDA counterpart, that enables you to run your tensor computations on an NVIDIA GPU with compute capability >= 3.0

問題來了，怎麼知道自己的GPU的compute capability呢？請看NVIDA文檔,選擇你對應的系列，找到對應型號。

舉幾個例子：

其實，只要是近幾年購買的N卡都是沒有問題的。確定了顯卡是支持的，接下來就要決定一個非常重要事情，就是選中對應的CUDA版本進行安裝。

CUDA

​ CUDA(ComputeUnified Device Architecture)，是NVIDIA推出的運算平臺。 CUDA是一種由NVIDIA推出的通用平行計算架構，該架構使GPU能夠解決複雜的計算問題。

與之配套的是cuDNN, NVIDIA cuDNN是用於深度神經網路的GPU加速庫。它強調性能、易用性和低記憶體開銷。NVIDIA cuDNN可以集成到更高級別的機器學習框架中。

細心的朋友在PyTorch官網就能發現， Compute Platform中並不給出顯卡型號，而是給出CUDA版本，這就要求我們安裝特定版本的CUDA，才能使用特定版本的PyTorch。例如PyTorch 1.10 只支持CUDA 10.2, CUDA 11.3，以及CUDA 11.1。為什麼這裡用了以及呢？ 因為在官網上並沒有顯示CUDA 11.1，但是在https://download.pytorch.org/whl/torch，搜索，可以看到11.1的whl。

在這裡選擇10.2版本進行安裝，CUDA下載通過官網，官網通常只顯示最新版本cuda，這裡需要大家進入具體的版本下載介面，拖到底部，找到：

• Archive of Previous CUDA Releases

接著可以找到對應的CUDA版本，進入下載即可，這Installer Type 有 exe (network) 和 exe (local)兩種選擇，我們選local的方式，下載2.6G的cuda_10.2.89_441.22_win10.exe即可。

安裝方式十分簡單，一直下一步即可，只需要記住安裝到了哪裡，這裡預設路徑為

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2

Copy

下面來測試一下CUDA安裝是否成功，可以打開命令窗，進入C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\bin，然後輸入

nvcc -V

cuDNN

有了CUDA平臺，還需要安裝cuDNN，cuDNN全稱為NVIDIA CUDA Deep Neural Network (cuDNN) 。它是一個深度神經網路的加速庫，裡邊實現了神經網路常用的操作，並且是高度優化的，可以極大地榨幹NVIDA顯卡的性能，因此用N卡都會用cuDNN庫。

cuDNN庫的安裝非常簡單，與其說是安裝，不如說是下載庫檔，放到CUDA所在的目錄下。具體步驟如下：

1. 打開網址：https://developer.nvidia.com/cudnn，點擊右上角，需要註冊，再登錄。
2. 登錄後，點擊Download cuDNN，跳轉到下載頁面，選擇好cudnn版本，作業系統版本，即可開始下載

3. 將下載好的壓縮包cudnn-10.2-windows10-x64-v8.2.4.15.zip 解壓
4. 分別將bin、include、lib\x64下的檔分別對應拷貝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2資料夾下的bin、include、lib\x64下
5. 打開命令視窗，在C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\extras\demo_suite資料夾中分別執行bandwidthTest.exe和deviceQuery.exe。觀察到Result=PASS 即表示安裝成功。