Geschrumpfte Chatbots: So passt die KI plötzlich in 4 GByte RAM

close notice

This article is also available in English. It was translated with technical assistance and editorially reviewed before publication.

.

Quantisierung, also das Reduzieren der Genauigkeit gespeicherter Gewichte von Large Language Models (LLMs) und anderen generativen KI-Modellen, ohne dass deren Ausgaben stark an Qualität verlieren, ist bei sehr großen LLMs Standard. Jüngste Ungetüme wie Kimi K3 mit 2,8 Billionen Parametern werden gar nicht erst mit mehr als 4 Bit ausgeliefert, und auch ein guter Teil des Trainings hat schon mit 4 Bit stattgefunden. Üblich waren früher 32-Bit-Gleitkommazahlen fürs Training, ausgeliefert wurden FP16-Gewichte. Übliche Quantisierungsziele sind FP8, also Gleitkommazahlen mit 8 Bit Genauigkeit und Q4, also 4-Bit-Formate, die entweder mit Integerwerten speichern oder neue Gleitkommaformate wie NVFP4 (Nvidia) oder MXFP4 (offener Standard) verwenden. Dankenswerterweise gilt die Faustregel: Je größer das Modell (in Anzahl Parameter) ist, desto weniger schadet die Quantisierung der Antwortqualität. Während bei Modellen mit 8 bis 12 Milliarden Parametern die Qualitätseinbußen noch deutlich spürbar sind, fallen sie in der 100B-Liga (B steht für das englische Billion, also Milliarden) schon sehr gering (meist