Wer KI im Unternehmen einführen will, beginnt mit einem Prozess, nicht mit einem Modell. Wählen Sie eine Aufgabe, die häufig anfällt, überwiegend aus Text besteht und messbar ist. Prüfen Sie, ob die Daten dahinter brauchbar sind und ob sie an ein gehostetes Modell gehen dürfen oder auf Ihren eigenen Servern bleiben müssen. Binden Sie das Modell über eine einzige kontrollierte Schicht an, die Ihre bestehende Anmeldung und Ihre Berechtigungen nutzt. Danach folgt ein Pilot mit echten Nutzern, die Messung und erst dann die Ausweitung.

Wenn ein KI-Projekt stockt, liegt es selten am Modell. Meist hat niemand festgelegt, was "besser" bedeutet, die Dokumente, aus denen das Modell antworten soll, sind veraltet, oder die IT-Sicherheit wurde erst in der letzten Woche gefragt. Die sieben Schritte dieser Anleitung zur KI-Integration im Unternehmen stehen in der Reihenfolge, die diese Probleme vermeidet.

Schritt 1: Einen Anwendungsfall mit messbarem Ergebnis wählen

Ein guter erster Anwendungsfall kommt häufig vor, besteht überwiegend aus Sprache (lesen, einordnen, entwerfen, beantworten) und lässt sich von einem Menschen prüfen, bevor das Ergebnis das Unternehmen verlässt.

  • Interne Fragen aus Richtlinien, Handbüchern und Arbeitsanweisungen beantworten
  • Eingehende E-Mails oder Support-Tickets einordnen und weiterleiten
  • Felder aus Rechnungen, Bestellungen und Lieferscheinen auslesen
  • Fragen an Geschäftsdaten stellen, etwa zu Beständen, offenen Aufträgen oder überfälligen Rechnungen (siehe ERP und KI-Integration)

Halten Sie zuerst den Ausgangswert fest: Zeit pro Vorgang, Vorgänge pro Woche, Fehlerquote. Ohne ihn können Sie nicht zeigen, dass der Pilot etwas gebracht hat. Entscheidungen mit rechtlicher Wirkung für Personen, etwa bei Einstellungen oder Krediten, eignen sich nicht als erstes Projekt.

Schritt 2: Die Datenlage prüfen

Ein Modell ist nur so gut wie das Material, das es bekommt. Beantworten Sie für den gewählten Anwendungsfall vier Fragen:

  • Wo liegen die Daten? ERP, Dokumentenmanagement, Netzlaufwerke, Postfächer, Tickets.
  • Gibt es eine aktuelle Fassung? Veraltete Kopien führen zu selbstsicheren falschen Antworten.
  • Wer darf sie heute sehen? Diese Berechtigungen müssen im KI-System genauso gelten.
  • Was steht darin? Personenbezogene Daten, Geschäftsgeheimnisse, Kundenverträge.

Teilen Sie die Daten anschließend in drei Klassen ein: darf vertraglich geregelt bei einem externen Anbieter verarbeitet werden, darf nur maskiert nach außen, darf das eigene Netzwerk nicht verlassen. Diese Einteilung entscheidet über Schritt 3. Sie brauchen kein unternehmensweites Datenprojekt, sondern saubere Daten für diesen einen Anwendungsfall.

Schritt 3: Das Modell wählen, öffentliche API oder lokales Modell

Gehostete (öffentliche) Modelle wie Anthropic Claude, OpenAI GPT und Google Gemini werden über die API des Anbieters oder über eine Cloud-Plattform wie Amazon Bedrock, Azure OpenAI oder Vertex AI angesprochen. Sie erhalten sehr leistungsfähige Modelle ohne eigene Hardware und zahlen nach Nutzung. Dafür verarbeitet ein Anbieter Ihre Daten. Klären Sie, wo das geschieht, wie lange die Daten gespeichert und ob sie zum Training verwendet werden. Ein Beispiel zeigt unser Leitfaden zur Claude-API-Integration.

Lokale (private) Modelle sind Open-Weight-Modelle wie Qwen, Llama und Mistral, die auf Ihren eigenen Servern oder in Ihrem eigenen Cloud-Konto laufen. Prompts und Dokumente bleiben damit in Ihrem Netzwerk. Der Preis dafür sind Hardware und Betrieb, und ein lokales Modell erreicht bei den schwierigsten Aufgaben unter Umständen nicht die stärksten gehosteten Modelle. Mehr dazu im Leitfaden für lokale LLMs On-Premises.

Lassen Sie die Datenklasse aus Schritt 2 entscheiden. Viele Unternehmen nutzen beides: ein lokales Modell für sensible Daten, ein gehostetes für den Rest. Statt Benchmark-Tabellen zu lesen, testen Sie zwei oder drei Kandidaten mit echten Beispielen aus Ihrem eigenen Prozess. Siehe auch Welche KI ist wofür besser?

Schritt 4: Die Architektur der KI-Integration entwerfen

Lassen Sie nicht jede Anwendung mit einem eigenen Schlüssel direkt ein Modell aufrufen. Setzen Sie eine Schicht dazwischen, ein internes KI-Gateway, das Anmeldung, Modellauswahl, Protokollierung, Limits und Maskierung übernimmt. So bleibt das Modell außerdem austauschbar.

Wenn Sie KI integrieren, nehmen Sie das einfachste von drei Mustern, das den Anwendungsfall löst:

  • Einzelaufruf: Text hinein, Text oder strukturierte Daten heraus. Das reicht für Klassifikation und Datenextraktion.
  • Retrieval (RAG): Das System durchsucht Ihre Dokumente und gibt dem Modell die passenden Abschnitte zusammen mit der Frage, sodass Antworten ihre Quellen nennen können.
  • Werkzeuge und Agenten: Das Modell darf definierte Funktionen aufrufen. Beginnen Sie nur lesend. Aktionen, die Daten ändern, brauchen die Bestätigung durch einen Menschen.

Binden Sie Ihre Systeme über deren APIs mit einem eigenen Dienstkonto an, nie über das Admin-Konto einer Person. Prüfen Sie die Ausgabe des Modells, bevor sie ein anderes System erreicht, und planen Sie einen manuellen Weg für den Fall, dass das Modell nicht erreichbar ist.

Schritt 5: Sicherheit, Identität und Datengrenzen festlegen

  • Identität: Nutzer melden sich über Ihr bestehendes Single Sign-on an, und der Assistent sieht nur, was dieser Nutzer sehen darf.
  • Least Privilege: standardmäßig nur lesender Zugriff, getrennte Zugangsdaten je Integration, Secrets in einem Secret Store und ein Protokoll darüber, wer was gefragt hat.
  • Datengrenzen: Legen Sie schriftlich fest, was das Netzwerk verlassen darf, und maskieren Sie personenbezogene Daten, die die Aufgabe nicht braucht.
  • Prompt Injection: E-Mails, Webseiten und Dokumente, die das Modell liest, können Anweisungen enthalten. Die OWASP Top 10 für LLM-Anwendungen führen dieses Risiko an erster Stelle. Behandeln Sie Modellausgaben als nicht vertrauenswürdige Eingabe und begrenzen Sie, was Werkzeuge tun dürfen.
  • Recht: Verarbeitet ein Anbieter personenbezogene Daten für Sie, verlangt die DSGVO einen Vertrag mit diesem Auftragsverarbeiter (Art. 28). Die KI-Verordnung der EU (AI Act) knüpft Pflichten an die Risikoklasse des Anwendungsfalls und gilt gestaffelt. Binden Sie Ihre Datenschutzbeauftragten und, falls vorhanden, den Betriebsrat in Schritt 2 ein, nicht erst zum Go-live. Mehr dazu in DSGVO und KI-Integration.

Ohne freigegebenes Werkzeug nutzen Beschäftigte private KI-Konten. Was daraus folgt, zeigt unser Artikel über geteilte KI-Chats.

Schritt 6: Einen Pilot mit echten Nutzern durchführen

  • Kleine Gruppe, fester Zeitraum: einige Personen, die die Arbeit täglich machen, für einige Wochen.
  • Testdatensatz: Sammeln Sie vor dem Pilot echte Fälle mit den erwarteten Antworten und lassen Sie sie nach jeder Änderung an Prompt, Modell oder Daten erneut laufen.
  • Am Ausgangswert messen: Zeit pro Vorgang, Anteil der Antworten, die ohne Korrektur übernommen werden, Fehlerarten, Rückmeldungen der Nutzer.
  • Mensch in der Schleife: Der Assistent entwirft, ein Mensch entscheidet.
  • Erfolgs- und Abbruchkriterien: Vereinbaren Sie beide vorab. Ein Pilot, der nicht scheitern kann, ist kein Pilot.

Schritt 7: Produktivbetrieb und Kostenkontrolle

Nach dem Pilot ist das KI-System ein Produktivsystem. Es braucht einen Verantwortlichen, einen Eskalationsweg und Monitoring für Antwortzeit, Fehler, Nutzung je Team und stichprobenartig geprüfte Antwortqualität.

Gehostete Modelle werden nach der Menge des gesendeten und zurückgegebenen Texts abgerechnet. Die Kosten folgen also der Kontextlänge und der Zahl der Aufrufe. Die Stellschrauben: nur die relevanten Abschnitte senden, für einfache Aufgaben ein kleineres Modell nutzen und Budgets, Limits und Alarme je Team und Schlüssel setzen. Bei einem lokalen Modell bestehen die Kosten aus Hardware, Strom und Personal. Achten Sie dort auf die Auslastung.

Anbieter stellen Modellversionen ein. Legen Sie die genutzte Version fest und lassen Sie vor einem Wechsel den Testdatensatz laufen. Der nächste Anwendungsfall wird günstiger, weil Gateway, Identität und Protokollierung bereits stehen.

Häufige Fehler bei der KI-Integration im Unternehmen

  • Mit einem Werkzeug oder einer Lizenz beginnen statt mit einem Prozess, oder mit vielen Anwendungsfällen gleichzeitig
  • Kein Ausgangswert und kein Testdatensatz, sodass niemand sagen kann, ob es funktioniert
  • Ein gemeinsamer API-Schlüssel für mehrere Anwendungen, ohne Zuordnung der Kosten
  • Ein Assistent mit mehr Rechten als sein Nutzer oder Schreibzugriff ab dem ersten Tag
  • IT-Sicherheit und Datenschutz erst kurz vor dem Go-live einbeziehen

Checkliste: KI einführen im Unternehmen

  • Ein Anwendungsfall mit Verantwortlichem und Ausgangswerten
  • Datenquellen aufgelistet, klassifiziert und einem Verantwortlichen zugeordnet
  • Gehostet oder lokal je Datenklasse entschieden, Anbieterbedingungen geprüft
  • Eine Gateway-Schicht mit Single Sign-on, Least Privilege, Protokollierung und Limits
  • Testdatensatz vorhanden und bei jeder Änderung ausgeführt
  • Pilot mit schriftlichen Erfolgs- und Abbruchkriterien
  • Monitoring, Budgetalarme und ein manueller Ausweichweg
  • Nutzer geschult, KI-Richtlinie veröffentlicht

Häufige Fragen

Wie gelingt die KI-Integration im Unternehmen?
Wählen Sie einen häufigen, messbaren Prozess und prüfen Sie dessen Daten. Wählen Sie je nach Sensibilität der Daten ein gehostetes oder ein lokales Modell, binden Sie es über eine kontrollierte Schicht mit Ihrer bestehenden Anmeldung und Ihren Berechtigungen an, testen Sie mit echten Nutzern und betreiben Sie es danach mit Monitoring und Kostenlimits.

Wie lange dauert es, KI im Unternehmen einzuführen?
Das hängt weniger vom Modell ab als vom Datenzugang und von Freigaben. Ein eng gefasster Anwendungsfall mit zugänglichen Daten und klarer Verantwortung erreicht schnell einen Pilot. Unsaubere Daten und eine späte Datenschutzprüfung bremsen Projekte.

Öffentliche KI-API oder lokales Modell: Was passt für Unternehmen?
Lassen Sie die Daten entscheiden. Darf ein Anbieter die Daten vertraglich geregelt verarbeiten, ist ein gehostetes Modell der schnellere Weg. Schließen Regulierung, Verträge oder interne Richtlinien das aus, betreiben Sie ein Open-Weight-Modell auf eigener Infrastruktur. Viele Unternehmen kombinieren beides.

Ist es sicher, Unternehmensdaten an ein KI-Modell zu senden?
Das kann es sein, wenn ein Vertrag mit dem Anbieter besteht, wenn Sie wissen, wo die Daten verarbeitet und ob sie zum Training verwendet werden, und wenn der Zugriff über Single Sign-on und Least Privilege begrenzt ist. Daten, die das Netzwerk nicht verlassen dürfen, gehören auf ein lokales Modell.

Was kostet es, KI zu integrieren?
Die Kosten bestehen aus vier Teilen: Aufbau der Integration, Modellnutzung oder Hardware, Betrieb und die Zeit der beteiligten Personen. Bei gehosteten Modellen folgen die Nutzungskosten der verarbeiteten Textmenge. Kontextlänge und Modellwahl sind deshalb die wichtigsten Stellschrauben.

Fazit

KI-Integration ist ein Engineering-Projekt mit einem Verantwortlichen im Fachbereich, und die Reihenfolge zählt mehr als das Modell: ein Anwendungsfall, brauchbare Daten, ein Modell, das zu den Daten passt, eine kontrollierte Schicht, ein gemessener Pilot und ein Betrieb mit klarer Zuständigkeit.

Möchten Sie diese Schritte gemeinsam mit Ingenieuren gehen? Graf Clouds arbeitet als AI Forwarder: Wir integrieren gehostete Modelle wie Anthropic Claude und OpenAI GPT, direkt oder über Ihre Cloud-Plattform, und wir betreiben Open-Weight-Modelle wie Qwen auf Ihrer eigenen Infrastruktur. Beides mit Single Sign-on, Least-Privilege-Zugriff, Datengrenzen sowie Nutzungs- und Kostenlimits, auf der Grundlage von 20 Jahren Cloud- und Security-Engineering. Den Überblick finden Sie unter KI-Integration, oder sprechen Sie mit uns.

Quellen und weiterführende Informationen