Mixture of Experts (MoE)

Was die Kürzel bedeuten

Modellnamen wie „35B-A3B“ nennen zwei Zahlen: 35 Milliarden Parameter insgesamt, davon 3 Milliarden aktiv je Schritt. Gespeichert werden müssen alle Parameter, gerechnet wird nur mit den aktiven.

Warum das für lokale KI zählt

Weil pro Schritt wenig gerechnet wird, dürfen Teile eines MoE-Modells im normalen Arbeitsspeicher liegen, ohne dass es unbrauchbar langsam wird. So laufen vergleichsweise große Modelle auch auf Grafikkarten mit 16 GB.

Kehrseite

Ein MoE-Modell braucht mehr Speicher als ein gleich schnelles herkömmliches Modell. Und bei gleicher Gesamtgröße schneidet ein herkömmliches Modell, das alle Parameter nutzt, in Tests oft besser ab.