Sprachmodelle mit Open WebUI: LLM-Server für kleine Teams selbst hosten

Inhaltsverzeichnis Die Direktive der US-Regierung vom 12. Juni, die Anthropic anweist, allen Nicht-US-Amerikanern den Zugriff auf das neue KI-Modell Fable zu verwehren, war ein Erweckungsmoment. Plötzlich trat das Szenario ein, das Befürworter europäischer digitaler Unabhängigkeit beharrlich immer wieder beschrieben haben: Die Regierung eines anderen Landes dreht uns den digitalen Hahn zu. Erstmals gibt es eine Exportbeschränkung für eine weitverbreitete digitale Dienstleistung, wenn auch nur für eine Version eines Sprachmodells. Doch es dürfte vielen zu denken geben, die sich in Beruf oder Alltag vollends auf Sprachmodelle der großen Anbieter verlassen. c’t kompakt Ein selbstbetriebener LLM-Server kann, passende Hardware vorausgesetzt, eine kleine Arbeitsgruppe versorgen. Die Daten verlassen den Server nicht, sodass ein solcher Server auch mit sensiblen Daten umgehen kann. Die eingesetzte Software ist unter Open-Source-Lizenz veröffentlicht. Da ist es ein schwacher Trost, dass Anthropic das Modell einfach für alle deaktiviert, also auch für US-Amerikaner, weil man die Direktive nur so sicher erfüllen könne. Der Fall zeigt ganz klar: Die eigene Arbeit oder die eines Teams ausschließlich von fremder KI-Infrastruktur abhängig zu machen, ist gefährlich. Wer dieses Ereignis zum Anlass nehmen will oder schon länger darüber nachdenkt, einen eigenen KI-Server für große Sprachmodelle einzurichten, muss sich einerseits mit dem Betrieb solcher Sprachmodelle vertraut machen. Andererseits sind ganz profane Admin-Aufgaben zu erledigen: Einrichtung, Updates, Security, Monitoring. Mehr zu Hardware für lokale KI-Modelle Dieser Artikel richtet sich an alle mit etwas Administrationserfahrung und zeigt, wie man – Hardware mit fetter GPU vorausgesetzt – einen LLM-Server für ein kleines Team betreibt, der auf Wunsch aus dem Internet erreichbar ist. Doch vorab eine Warnung: Die meisten, die einmal neugierig in den Kaninchenbau der lokalen KI-Modelle gefallen sind, sind nicht wieder herausgekommen. Die Beschäftigung mit lokaler KI kann süchtig machen. Das war die Leseprobe unseres heise-Plus-Artikels "Sprachmodelle mit Open WebUI: LLM-Server für kleine Teams selbst hosten". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.