香港GPU服務器顯卡驅動安裝、深度學習環境搭建?

在香港搭建GPU服務器后，顯卡驅動安裝和深度學習環境的配置是關鍵步驟。以下是一個詳細的指導：

1. 硬件確認

確保你的香港GPU服務器硬件信息和安裝環境：

顯卡型號：如 NVIDIA RTX 40 系列、A100、V100 等。

操作系統：建議使用 Linux 系統(Ubuntu 是最佳選擇，版本如 20.04 或 22.04)。

網絡連接：服務器是否有穩定的網絡(尤其是安裝驅動和軟件時需要訪問互聯網)。

2. 安裝 NVIDIA 驅動

(1) 檢查顯卡信息

通過以下命令確認顯卡是否已被系統識別：

lspci | grep -i nvidia

(2) 移除舊版本驅動

如果系統中已經安裝了舊的 NVIDIA 驅動，先卸載：

sudo apt-get --purge remove "*nvidia*"

(3) 添加 NVIDIA 驅動庫

為確保獲取最新版本驅動：

sudo add-apt-repository ppa:graphics-drivers/ppa

sudo apt-get update

(4) 安裝推薦驅動

系統會自動推薦兼容的驅動版本：

ubuntu-drivers devices

sudo apt install nvidia-driver-<版本號>

例如：

sudo apt install nvidia-driver-535

(5) 驗證安裝

安裝完成后，重啟服務器并驗證驅動是否正常運行：

nvidia-smi

若顯示 GPU 相關信息，說明驅動安裝成功。

3. 安裝 CUDA 和 cuDNN

NVIDIA 驅動只是基礎，還需要安裝 CUDA 和 cuDNN 來支持深度學習框架。

(1) 確認兼容的 CUDA 版本

根據顯卡型號和深度學習框架的需求選擇 CUDA 版本：

NVIDIA CUDA 版本兼容性列表

(2) 下載并安裝 CUDA

下載 CUDA：

wget //developer.download.nvidia.com/compute/cuda/<版本號>/local_installers/cuda_<版本號>_linux.run

例如：

wget //developer.download.nvidia.com/compute/cuda/12.2/local_installers/cuda_12.2.0_535.54.03_linux.run

安裝：

sudo sh cuda_<版本號>_linux.run

遵循提示安裝并選擇 "Driver" 和 "Toolkit"。

配置環境變量：在 ~/.bashrc 添加：

export PATH=/usr/local/cuda/bin:$PATH

export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

然后執行：

source ~/.bashrc

驗證安裝：

nvcc --version

(3) 安裝 cuDNN

前往 NVIDIA cuDNN 下載頁面 下載對應版本。

解壓并拷貝文件：

tar -xzvf cudnn-<版本號>.tgz

sudo cp cuda/include/cudnn*.h /usr/local/cuda/include

sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64

sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

4. 安裝深度學習環境

以下是推薦的深度學習環境安裝步驟：

(1) 安裝 Python 和包管理工具

安裝 Python 及其包管理工具：

sudo apt update

sudo apt install python3 python3-pip

(2) 創建虛擬環境

使用 venv 或 conda 創建隔離的環境：

python3 -m venv dl-env

source dl-env/bin/activate

(3) 安裝深度學習框架

PyTorch：根據 PyTorch 官網 的指引安裝，示例：

pip install torch torchvision torchaudio --index-url //download.pytorch.org/whl/cu12

TensorFlow：根據所支持的 CUDA 版本安裝，示例：

pip install tensorflow

(4) 驗證安裝

驗證 GPU 是否被深度學習框架檢測到：

PyTorch：

import torch

print(torch.cuda.is_available())

print(torch.cuda.get_device_name(0))

TensorFlow：

import tensorflow as tf

print(tf.config.list_physical_devices('GPU'))

5. 遠程訪問與開發工具

為了方便操作，可以部署以下工具：

Jupyter Notebook：安裝并運行 Jupyter 服務：

pip install jupyter

jupyter notebook --ip=0.0.0.0 --port=8888 --no-browser

VS Code Server：便于遠程開發，可安裝 code-server。

6. 性能優化與管理

(1) GPU 使用監控

使用 nvidia-smi 查看顯存、溫度和利用率。

或安裝 NVIDIA 工具如 Nsight Systems。

(2) 任務調度

安裝 Slurm 或其他調度系統，優化多用戶任務的管理。

(3) Docker 化部署

安裝 Docker 和 NVIDIA 容器工具包，簡化環境配置：

sudo apt-get install docker.io

distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \

&& curl -fsSL //nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \

&& curl -s -L //nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \

sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt-get update

sudo apt-get install -y nvidia-container-toolkit

sudo systemctl restart docker

7. 維護與常見問題

驅動沖突：如果使用 TensorFlow 和 PyTorch，確保安裝的 CUDA 版本和框架兼容。

系統更新：避免自動更新可能導致驅動不兼容，建議鎖定驅動版本。

如果有更多具體需求或遇到問題，可以隨時告訴我!