CUDA

Herkunft

Nvidia stellte CUDA im November 2006 vor, als allgemeine Plattform und Programmiermodell für parallele Berechnungen auf Grafikprozessoren.

Bestandteile

• Programmiermodell: Erweiterungen für C und C++, mit denen Entwickler Rechenschritte als Kernel schreiben, die auf vielen Recheneinheiten gleichzeitig laufen
• CUDA Toolkit: Compiler, Bibliotheken und Werkzeuge. Seit Version 13.4 liegt dem Toolkit unter Linux kein Grafiktreiber mehr bei, der Treiber wird getrennt installiert. Aktuell ist Version 13.5 (Stand November 2026).
• Bibliotheken: fertige Bausteine für lineare Algebra, neuronale Netze und weitere Rechenaufgaben, auf die Frameworks wie PyTorch zugreifen

Anwendung

Ein großer Teil der Software für künstliche Intelligenz nutzt CUDA, um auf Nvidia-Grafikkarten zu rechnen. Programme zum Betrieb lokaler Sprachmodelle, sogenannte LLM-Runtimes, bieten dafür eigene Varianten an. Unter Arch Linux gibt es zum Beispiel die Pakete ollama-cuda und ggml-cuda für llama.cpp. Ollama setzt laut Dokumentation einen Nvidia-Treiber ab Version 550 und eine Grafikkarte mit Compute Capability ab 5.0 voraus.

Lizenz

CUDA unterliegt einer Endbenutzer-Lizenzvereinbarung von Nvidia, die unter anderem das Zurückentwickeln der Software untersagt. Seit 2024 bietet Nvidia die Kernelmodule seines Treibers zusätzlich in einer quelloffenen Fassung an (nvidia-open). Das Toolkit und die Bibliotheken bleiben proprietär.

Abgrenzung zu verwandten Begriffen

Kritik und Grenzen

• CUDA läuft nur auf Hardware von Nvidia. Software, die ausschließlich CUDA unterstützt, bindet Anwender an diesen Hersteller.
• Für Linux-Distributionen bedeutet die proprietäre Lizenz, dass Treiber und Toolkit getrennt von den quelloffenen Paketen gepflegt werden müssen.

Siehe auch

• ROCm
• LLM-Runtime
• Praxis: Passt das KI-Modell auf Ihre Grafikkarte?