GPU-Server für KI-Selfhosting: Hetzner GEX44 im Test

Inhaltsverzeichnis Video-RAM, Video-RAM und noch mal Video-RAM: Das ist die wichtigste Zutat für einen Server, der große Sprachmodelle (LLMs) ausführen soll. Nur wenn die Modelle komplett in den schnellen Speicher der Grafikkarte (VRAM) passen, können die Modelle fix antworten. Doch wer aktuell darüber nachdenkt, LLMs selbst zu hosten, um den großen KI-Anbietern zu entkommen, ist mit extrem hohen Kosten für Grafikkarten mit viel Speicher konfrontiert, auch weil der Markt von ebendiesen großen KI-Anbietern leergekauft wird. Gemietete Server bei kleineren Hostern mit leistungsstarker GPU sind eine Alternative, um die hohen Anfangsinvestitionen zu vermeiden und Erfahrungen mit dem KI-Selfhosting zu sammeln. Der deutsche Hoster Hetzner hat zwei Server mit starker GPU im Sortiment. Für 1500 Euro monatlich gibt es den GEX131 mit einer Nvidia RTX Pro 6000 Blackwell Max-Q darin (mit 96 GByte VRAM und ab 256 GByte RAM). Der kleine Bruder des Servers heißt GEX44. Für 278 Euro im Monat bekommt man dort die Nvidia RTX 4000 SFF Ada Generation (mit 20 GByte VRAM und 64 GByte RAM). Angeboten wird die Konfiguration, um KI-Modelle zu betreiben (der große Bruder wird für KI-Training beworben). Mit Preis und Ausstattung richtet sich Hetzner mit dem GEX44 an Firmen, die lokale KI ausprobieren wollen. Mehr zu Hardware für lokale KI-Modelle Wir haben den Server einen Monat lang intensiv beschäftigt und darauf eine Containerzusammenstellung mit Open WebUI und Ollama betrieben. Mit dieser Kombination kann ein kleines Team in einer komfortablen Weboberfläche gemeinsam Open-Weights- und Open-Source-Modelle nutzen. Das war die Leseprobe unseres heise-Plus-Artikels "GPU-Server für KI-Selfhosting: Hetzner GEX44 im Test". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.