Настройка GPU-сервера для разработки AI CUDA PyTorch TensorFlow

Настройка GPU-сервера для разработки AI: CUDA, PyTorch, TensorFlow

Настройка GPU-сервера для AI-разработки — это 2-4 часа работы, которые экономят дни проблем с "работает на облаке, не работает локально". Ключевые компоненты: правильные версии NVIDIA driver + CUDA + cuDNN, изолированные Python-окружения и инструменты для мониторинга GPU.

Минимальный стек

# 1. NVIDIA Driver (Ubuntu 22.04)
sudo apt install -y nvidia-driver-545
sudo reboot

# 2. CUDA 12.2
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub
sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ /"
sudo apt install -y cuda-toolkit-12-2

# 3. Добавить в ~/.bashrc
echo 'export PATH=/usr/local/cuda-12.2/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

# 4. Проверка
nvidia-smi && nvcc --version

Conda-окружения для разных фреймворков

# PyTorch
conda create -n pytorch python=3.11 -y
conda activate pytorch
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

# TensorFlow
conda create -n tensorflow python=3.11 -y
conda activate tensorflow
pip install tensorflow[and-cuda]==2.15.0

# Проверка GPU доступности
python -c "import torch; print('PyTorch GPU:', torch.cuda.get_device_name(0))"
python -c "import tensorflow as tf; print('TF GPUs:', tf.config.list_physical_devices('GPU'))"

GPU мониторинг

# Установка nvtop — htop для GPU
sudo apt install nvtop
nvtop  # Интерактивный мониторинг

# gpustat — компактный вывод
pip install gpustat
gpustat --watch  # Обновление каждую секунду
watch -n 1 nvidia-smi  # Классический вариант

Оптимизация производительности

Persistence mode — устраняет задержки при первом обращении к GPU:

sudo nvidia-smi -pm 1
# Добавить в /etc/rc.local для автозапуска

sudo nvidia-smi --auto-boost-default=0 — отключить автобуст для детерминированных benchmark результатов. Для максимальной производительности sudo nvidia-smi -ac 1215,1410 (оптимальные частоты для A100).