Lokales LLM on-premise: Wie Sie lokale KI im Unternehmen betreiben und wann eine gehostete API die bessere Wahl ist
Ein lokales LLM ist ein Sprachmodell, dessen Gewichte Sie herunterladen und auf Servern betreiben, die Sie selbst kontrollieren: im eigenen Rechenzentrum oder im eigenen Cloud-Konto. Prompts, Dokumente und Antworten bleiben in Ihrem Netzwerk. Das ist gemeint, wenn von lokaler KI, KI on-premise oder KI ohne Cloud die Rede ist. Ein LLM selbst zu hosten ist richtig, wenn Daten das Unternehmen nicht verlassen dürfen, wenn ein Vertrag oder eine Aufsicht das verlangt, wenn ein gleichmäßiges Volumen die Kosten planbar macht oder wenn ein Standort keine verlässliche Internetverbindung hat.
Für alles andere ist es nicht automatisch die richtige Wahl. Eine gehostete API liefert die stärksten Modelle ohne Hardware und ohne Betriebsaufwand, und für viele Aufgaben ist das die bessere Lösung. Dieser Leitfaden behandelt die Entscheidung, die Modelle und Werkzeuge, die Dimensionierung der Hardware und den sicheren Betrieb.
Wann sich ein lokales LLM lohnt
- Daten dürfen das Netzwerk nicht verlassen. Konstruktionsdaten, Quellcode, Kundendaten, Produktionsdaten. Wenn die Daten nicht zu einem Dritten dürfen, muss das Modell zu den Daten kommen.
- Regulierung oder Verträge. Branchenvorgaben, Kundenverträge oder interne Richtlinien können eine externe Verarbeitung ausschließen. Zum Datenschutz siehe DSGVO und KI-Integration.
- Planbare Kosten bei gleichmäßigem Volumen. Eine gehostete API rechnet pro Token ab. Ein lokales Modell kostet dasselbe, ob es eine Anfrage beantwortet oder den ganzen Tag arbeitet.
- Offline- und Fertigungsumgebungen. In einem abgeschotteten Produktionsnetz steht ein Modell, das das Internet braucht, sobald die Leitung ausfällt.
Wann eine gehostete API die bessere Wahl ist
- Sie brauchen die stärksten Modelle. Die Spitzenmodelle von Anbietern wie Anthropic und OpenAI werden nicht als Gewichte veröffentlicht.
- Das Volumen ist gering oder schwankt. Ungenutzte Hardware ist pro Antwort teuer.
- Sie testen die Idee noch. Belegen Sie den Anwendungsfall zuerst mit einer API und unkritischen Daten.
- Niemand kann es betreiben. Ein Modellserver braucht einen Verantwortlichen.
Viele Unternehmen nutzen beides: ein gehostetes Modell für allgemeine Aufgaben und ein lokales für die Daten, die im Haus bleiben müssen. Die gehostete Seite beschreibt unser Leitfaden zur Claude-API-Integration.
Gehostete API und lokale KI im Vergleich
| Frage | Gehostete API | Lokales Modell |
|---|---|---|
| Wo werden Daten verarbeitet? | Beim Anbieter, auf Vertragsbasis | Auf Ihren Servern, in Ihrem Netzwerk |
| Kostenstruktur | Pro Token, wächst mit der Nutzung | Erst Hardware und Aufbau, dann fix |
| Modellqualität | Die größten Spitzenmodelle | Open-Weight-Modelle, für klar umrissene Aufgaben oft ausreichend |
| Wer betreibt es? | Der Anbieter | Sie oder ein Partner |
| Läuft ohne Internet? | Nein | Ja |
Open-Weight-Modelle: Qwen, Llama, Mistral und was die Lizenz erlaubt
Open-Weight heißt: Die trainierten Parameter stehen zum Download bereit, Sie können das Modell selbst betreiben. Das ist nicht dasselbe wie Open Source. Die Definition der Open Source Initiative für Open-Source-KI verlangt zusätzlich den Trainingscode und Informationen zu den Trainingsdaten. In der Praxis entscheidet die Lizenz, was Sie dürfen.
- Qwen (Alibaba Cloud): Laut Projekt-Repository stehen die Open-Weight-Modelle unter Apache 2.0, einer freizügigen Lizenz, die kommerzielle Nutzung erlaubt.
- Llama (Meta): Metas eigene Community-Lizenz. Kommerzielle Nutzung ist erlaubt, mit einer Acceptable Use Policy und Vorgaben zur Namensnennung, wenn Sie das Modell weitergeben.
- Mistral (Mistral AI): Einige Modelle stehen unter Apache 2.0, andere unter eigenen Lizenzbedingungen von Mistral.
- Gemma (Google): offene Gewichte, die Bedingungen unterscheiden sich je nach Generation.
Lesen Sie die Lizenzdatei genau des Modells und der Version, auf die Sie bauen. Wählen Sie dann nach Tests mit Ihren eigenen Aufgaben und deutschen Texten, nicht nach einer Rangliste.
Hardware für lokale KI: Speicher, Quantisierung, Parallelität
Der GPU-Speicher ist die entscheidende Grenze. Drei Dinge belegen ihn:
- Die Gewichte. Grob Parameterzahl mal Bit pro Gewicht. Bei 16 Bit belegt eine Milliarde Parameter rund 2 GB.
- Der Kontext. Jede Anfrage hält Arbeitsspeicher, der mit der Länge von Prompt und Antwort wächst.
- Die Parallelität. Jede gleichzeitig verarbeitete Anfrage braucht ihren eigenen Arbeitsspeicher.
Quantisierung speichert die Gewichte mit geringerer Genauigkeit. Eine 4-Bit-Variante braucht grob ein Viertel bis ein Drittel des 16-Bit-Speichers und verliert dafür etwas Antwortqualität. Testen Sie sie deshalb mit Ihren eigenen Fragen. Modelle laufen auch auf CPUs. Das ist langsamer, kann für Stapelverarbeitung aber reichen.
Dimensionieren Sie nach der Spitzenzahl gleichzeitiger Anfragen, nicht nach der Zahl der Mitarbeitenden. Kaufen Sie Hardware, nachdem ein Pilot das gemessen hat, nicht vorher.
LLM selbst hosten: vLLM, Ollama, llama.cpp und TGI
- vLLM: eine Open-Source-Serving-Engine, die an der UC Berkeley entstanden ist. Sie bündelt eingehende Anfragen fortlaufend und eignet sich für viele gleichzeitige Nutzer auf GPUs.
- Ollama: ein Open-Source-Werkzeug, das Modelle mit einem Befehl startet und eine lokale API bereitstellt. Gut für einen Piloten oder ein kleines Team.
- llama.cpp: eine C/C++-Engine, die quantisierte Modelle im GGUF-Format auf CPUs und GPUs ausführt. Nützlich auf bescheidener Hardware.
- Hugging Face TGI: ein Serving-Toolkit, das in vielen bestehenden Installationen läuft. Laut Dokumentation befindet es sich inzwischen im Wartungsmodus; empfohlen werden Engines wie vLLM oder llama.cpp.
vLLM und llama.cpp bieten einen OpenAI-kompatiblen Endpunkt. Anwendungen können damit ohne großen Umbau zwischen einem gehosteten und einem lokalen Modell wechseln.
Lokale KI an Unternehmensdaten anbinden
Das Modell weiß nichts über Ihr Unternehmen. Das übliche Muster ist Retrieval: Dokumente werden in Abschnitte zerlegt und in einer Vektordatenbank wie pgvector für PostgreSQL oder Qdrant indexiert. Eine Frage holt die passenden Abschnitte, das Modell antwortet auf dieser Grundlage und nennt seine Quellen.
Schief geht es meist bei den Berechtigungen. Die Suche muss nach den Rechten der fragenden Person filtern, sonst wird der Assistent zum Weg an Ihren Dateiberechtigungen vorbei. Strukturierte Systeme binden Sie über deren APIs mit Nur-Lese-Konten an, wie in ERP und KI-Integration beschrieben.
Betrieb eines lokalen Modells
- Monitoring: GPU-Speicher, Warteschlange, Antwortzeit, Fehler.
- Updates: Modellversionen, Serving-Software und Treiber. Prüfen Sie jede Änderung gegen einen festen Fragenkatalog.
- Kapazität: Spitzenlast beobachten und den nächsten Hardware-Schritt früh planen.
- Backups: Konfiguration, Prompts, Dokumentenindex und eine geprüfte Kopie der Gewichte.
- Zugriffskontrolle: Single Sign-on für Personen, eigene Schlüssel für Anwendungen.
- Audit-Logs: wer was gefragt hat und welche Dokumente abgerufen wurden, mit Aufbewahrungsfrist.
Sicherheit: Netztrennung, keine ausgehenden Verbindungen, Modell-Lieferkette
- Netztrennung. Inferenzserver stehen in einem eigenen Segment und sind nur über ein authentifizierendes Gateway erreichbar.
- Keine ausgehenden Verbindungen. Sperren Sie ausgehenden Verkehr der Modellserver und holen Sie Updates über einen kontrollierten Spiegel ins Haus.
- Modell-Lieferkette. Gewichte sind Dateien aus dem Internet. Hugging Face warnt, dass Pickle-basierte Modelldateien beim Laden Code ausführen können und der eigene Scan keine Garantie ist. Laden Sie vom offiziellen Konto des Herausgebers, bevorzugen Sie die Formate safetensors oder GGUF, legen Sie die Revision fest, halten Sie Prüfsummen fest und bewahren Sie eine interne Kopie auf.
- Abgerufener Text ist Daten. Dokumente können Anweisungen an das Modell enthalten. Begrenzen Sie, was das Modell auslösen darf.
Stufenplan
- 1. Ein Anwendungsfall. Sammeln Sie echte Fragen mit bekannten guten Antworten.
- 2. Daten klassifizieren. Was darf das Netzwerk verlassen, was nicht.
- 3. Pilot. Vergleichen Sie zwei oder drei Open-Weight-Modelle auf kleiner oder gemieteter Hardware.
- 4. Messen. Antwortqualität, Antwortzeit, Spitzenparallelität.
- 5. Produktion aufbauen. Serving, Gateway, Retrieval mit Berechtigungen, Monitoring, Logs.
- 6. Ausrollen. Erst ein Team, dann weitere.
Die organisatorische Seite behandelt der Leitfaden zur KI-Integration im Unternehmen.
Häufige Fehler
- GPUs kaufen, bevor ein Modell getestet wurde.
- Das Modell nach Benchmark-Rang auswählen.
- Die Lizenz nicht lesen.
- Dateifreigaben ohne ihre Berechtigungen indexieren.
- Ausgehenden Zugriff auf den Modellservern offen lassen.
- Ohne Betriebsverantwortlichen live gehen.
Checkliste vor dem Start
- Anwendungsfall und Testfragen festgelegt
- Daten klassifiziert: was im Haus bleiben muss
- Modelllizenz gelesen und freigegeben
- Spitzenzahl gleichzeitiger Anfragen gemessen
- Retrieval beachtet die Berechtigungen der Nutzer
- Ausgehender Verkehr gesperrt, Gewichte geprüft und intern gespiegelt
- Monitoring, Backups, Audit-Logs und ein benannter Verantwortlicher vorhanden
Häufige Fragen
Was ist ein lokales LLM on-premise?
Ein Sprachmodell, das auf Servern läuft, die Sie selbst kontrollieren, im eigenen Rechenzentrum oder Cloud-Konto. Prompts, Dokumente und Antworten werden in Ihrem Netzwerk verarbeitet, nicht über die API eines Anbieters.
Ist lokale KI günstiger als eine gehostete API?
Das hängt vom Volumen ab. Eine gehostete API kostet pro Token. Ein lokales Modell braucht zuerst Hardware und Betrieb und kostet danach bei jeder Last etwa gleich viel. Gleichmäßig hohes Volumen spricht für lokal, geringes oder schwankendes für die API.
Dürfen wir Qwen lokal kommerziell betreiben?
Laut Projekt-Repository stehen die Open-Weight-Modelle von Qwen unter Apache 2.0, das kommerzielle Nutzung erlaubt. Prüfen Sie trotzdem die Lizenzdatei genau des Modells, das Sie herunterladen.
Wie viel GPU-Speicher braucht man, um ein LLM selbst zu hosten?
Genug für die Gewichte, den Kontext und die gleichzeitig verarbeiteten Anfragen. Quantisierung senkt den Speicherbedarf der Gewichte. Messen Sie die Spitzenparallelität in einem Piloten, bevor Sie Hardware kaufen.
Ist KI ohne Cloud automatisch DSGVO-konform?
Nein. Die Übermittlung an einen externen Anbieter entfällt, aber Rechtsgrundlage, Zugriffskontrolle und Löschfristen brauchen Sie für die verarbeiteten personenbezogenen Daten weiterhin.
Fazit
Betreiben Sie ein Modell lokal, wenn die Daten, ein Vertrag oder der Standort es verlangen, und nutzen Sie eine gehostete API, wo das nicht der Fall ist. Beginnen Sie mit einem Anwendungsfall, messen Sie und dimensionieren Sie die Hardware nach dem, was Sie gemessen haben.
Sie planen ein lokales Modell? Graf Clouds betreibt Open-Weight-Modelle wie Qwen, Llama und Mistral auf den eigenen Servern der Kunden, On-Premises oder im eigenen Cloud-Konto. Wir dimensionieren und bauen die Infrastruktur, binden das Modell an Ihre Systeme an und betreiben es anschließend: Updates, Monitoring und Kapazität. Für Presimsan, ein Fertigungsunternehmen, haben wir so lokale KI aufgebaut. Mehr dazu unter lokale KI, in der Übersicht zur KI-Integration oder, für gehostete Modelle, unter Claude- und OpenAI-Integration. Sprechen Sie mit uns.
Quellen und weiterführende Links
- Qwen (Alibaba Cloud): Projekt-Repository und Lizenzhinweis
- Meta: Llama-Community-Lizenzvereinbarung
- Mistral AI: Modellübersicht mit Lizenzen
- Google: Nutzungsbedingungen für Gemma
- Open Source Initiative: Open Source AI Definition
- vLLM: Projekt-Repository
- Hugging Face: das GGUF-Format und Quantisierungstypen
- Hugging Face: Pickle-Scan und Sicherheit von Modelldateien