LLM-Runtime

Endpunkt

Fast alle Runtimes stellen einen Endpunkt im OpenAI-kompatiblen Format bereit. Programme, die für die OpenAI-Schnittstelle geschrieben sind, funktionieren dadurch auch mit einem lokalen Modell, wenn man nur die Adresse austauscht.

Unterschiede

Runtimes unterscheiden sich in Bedienung, unterstützter Hardware und vor allem in der Geschwindigkeit. Auf Servern mit leistungsstarken Nvidia-Grafikkarten ist vLLM oft um ein Vielfaches schneller als Einsteiger-Runtimes. Ollama und LM Studio punkten mit einfacher Einrichtung.

Sicherheit

Viele Runtimes haben keine eingebaute Anmeldung. Der Endpunkt sollte deshalb nur lokal oder über ein VPN erreichbar sein, nie offen im Internet.