NVIDIA CUDA

GPU-Treiber und CUDA-Toolkit für Hardware-beschleunigte KI-Berechnungen. Die RTX 4000 mit 20GB VRAM ermöglicht lokales LLM-Hosting ohne Cloud.

GPUNVIDIA RTX 4000 SFF Ada Generation
VRAM20 GB
Treiber590.44.01
CUDA13.1

Installation

apt-get install -y nvidia-driver nvidia-cuda-toolkit
reboot

Status prüfen

nvidia-smi
nvcc --version