KI im Unternehmen einführen: Sieben Schritte, die im Alltag tragen

Wie führt man KI im Unternehmen ein?

Sie führen KI im Unternehmen am sichersten in sieben Schritten ein: Ziele und Anwendungsfälle festlegen, Daten und Wissen ordnen, Datenschutz und Richtlinie klären, einen Pilot fahren, die KI in Systeme und Abläufe integrieren, Mitarbeitende schulen und den Betrieb messen. Die Reihenfolge ist wichtig. Wer mit dem Tool beginnt statt mit dem Problem, landet meist bei vielen Einzellizenzen und wenig messbarem Nutzen.

Eine KI-Implementierung ist kein IT-Projekt allein. Sie verändert, wie Wissen fließt, wer Entscheidungen vorbereitet und welche Aufgaben Menschen noch selbst erledigen. Deshalb gehört das Thema auf die Ebene der Geschäftsführung, mit einer klar benannten verantwortlichen Person.

Schritt 1: Ziele und Anwendungsfälle festlegen

Beginnen Sie mit der Frage, wo im Unternehmen heute Zeit, Wissen oder Qualität verloren gehen. Typische Kandidaten sind wiederkehrende Anfragen, Angebotsvorbereitung, Recherche, Protokolle, Übergaben zwischen Abteilungen und die Suche nach internem Wissen.

Ein guter erster Anwendungsfall hat vier Eigenschaften:

• Häufig: Die Aufgabe kommt jede Woche mehrfach vor.
• Abgrenzbar: Anfang und Ende der Aufgabe sind klar.
• Messbar: Sie können Zeit, Durchlaufzeit oder Fehlerquote heute schon beziffern oder zumindest schätzen.
• Überschaubares Risiko: Ein Fehler der KI ist erkennbar und korrigierbar, bevor er Schaden anrichtet.

Formulieren Sie für jeden Anwendungsfall ein Ziel in einem Satz, zum Beispiel: „Eingehende Anfragen werden innerhalb von zwei Stunden mit einem geprüften Antwortentwurf versehen.“ Legen Sie fest, wer im Fachbereich verantwortlich ist. Ohne fachliche Verantwortung bleibt jedes KI-Projekt ein Experiment.

Checkliste für die Auswahl

• Liste aller Kandidaten mit geschätztem Aufwand pro Monat
• Bewertung nach Nutzen, Machbarkeit und Risiko
• Auswahl von höchstens drei Fällen für den Start
• Messgröße und Ausgangswert je Fall
• Verantwortliche Person im Fachbereich

Schritt 2: Welche Daten und welches Wissen braucht die KI?

Ein Sprachmodell kennt Ihr Unternehmen nicht. Es kennt weder Ihre Kunden noch Ihre Preise, Projekte oder internen Absprachen. Den Unterschied macht das Wissen, das Sie der KI zugänglich machen. Prüfen Sie daher für jeden Anwendungsfall, welche Quellen gebraucht werden: E-Mail-Postfächer, Dateiablagen, CRM, Ticketsystem, Fachsoftware, Handbücher oder Protokolle.

Klären Sie für jede Quelle drei Dinge: Wer ist zuständig? Wie aktuell ist der Inhalt? Wer darf was sehen? Die dritte Frage wird oft unterschätzt. Eine KI darf nicht mehr preisgeben als die Person, die sie gerade fragt, selbst sehen dürfte.

Technisch gibt es zwei Ansätze. Bei Retrieval Augmented Generation (RAG) sucht die KI zur Laufzeit passende Dokumente und nutzt sie als Grundlage für die Antwort. Ein KI-Memory geht weiter und hält Wissen über Personen, Projekte und Entscheidungen dauerhaft fest. Für viele Unternehmen ist die Kombination sinnvoll. Mehr dazu lesen Sie im Ratgeber Wissensmanagement mit KI.

Checkliste Wissensquellen

• Welche Systeme enthalten das Wissen für den Anwendungsfall?
• Gibt es Dubletten, alte Versionen oder verwaiste Ordner, die vorher bereinigt werden sollten?
• Sind Zugriffsrechte in den Quellsystemen sauber gepflegt?
• Welche Bereiche bleiben bewusst außen vor, etwa Personalakten oder Geschäftsführungsunterlagen?
• Wie gelangen neue Informationen künftig automatisch in die Wissensbasis?

Sie müssen nicht erst alle Daten aufräumen, bevor Sie beginnen. Es genügt, die Quellen für die ersten Anwendungsfälle in einen brauchbaren Zustand zu bringen. Der Rest folgt Schritt für Schritt.

Schritt 3: Datenschutz und KI-Richtlinie klären

Bevor echte Daten in ein KI-System fließen, braucht es klare Regeln. Dazu gehören drei Bausteine:

1. Verträge: Verarbeitet ein externer Anbieter personenbezogene Daten in Ihrem Auftrag, brauchen Sie einen Vertrag zur Auftragsverarbeitung nach Art. 28 DSGVO. Bei Anbietern außerhalb der EU kommt die Frage des Drittlandtransfers hinzu.
2. Datenklassen: Legen Sie fest, welche Daten in welche Tools dürfen. Öffentliche Informationen sind unkritisch, Personaldaten, Gesundheitsdaten und Geschäftsgeheimnisse sind es nicht.
3. KI-Richtlinie: Ein kurzes, verbindliches Dokument regelt erlaubte Tools, verbotene Daten, Freigaben und Verantwortlichkeiten. Ein vollständiges Muster finden Sie im Ratgeber KI-Richtlinie für Unternehmen.

Prüfen Sie außerdem, ob Ihr Anwendungsfall unter die strengeren Regeln der KI-Verordnung (EU) 2024/1689 fällt, etwa bei Einsatz im Personalbereich. Die meisten Bürotätigkeiten sind nicht als Hochrisiko eingestuft, die Frage sollte aber dokumentiert beantwortet sein. Gibt es einen Betriebsrat, beziehen Sie ihn früh ein. Werkzeuge, die Verhalten oder Leistung von Beschäftigten erfassen können, sind regelmäßig mitbestimmungspflichtig.

Wie Sie mit ChatGPT, Copilot und vergleichbaren Diensten datenschutzgerecht umgehen, beschreibt der Ratgeber ChatGPT und Datenschutz im Unternehmen.

Schritt 4: Wie sieht ein guter KI-Pilot aus?

Ein Pilot beantwortet eine Frage: Funktioniert der Anwendungsfall mit echten Aufgaben, echten Daten und echten Mitarbeitenden? Präsentationen und Demos beantworten diese Frage nicht.

• Dauer: Planen Sie vier bis acht Wochen. Kürzer reicht selten, um Gewöhnungseffekte zu überwinden. Länger verliert an Spannung.
• Gruppe: Fünf bis fünfzehn Personen aus dem Fachbereich, darunter mindestens eine skeptische.
• Messung: Vergleichen Sie Zeit, Qualität und Nacharbeit mit dem Ausgangswert aus Schritt 1.
• Fehlerprotokoll: Halten Sie fest, wo die KI falsch lag, warum, und wie es aufgefallen ist.
• Entscheidung: Legen Sie vorab fest, ab welchem Ergebnis Sie ausweiten, nachbessern oder stoppen.

Rechnen Sie mit Fehlern. Sprachmodelle können plausibel klingende, aber falsche Aussagen erzeugen, sogenannte Halluzinationen. Ein Pilot zeigt, wie häufig das in Ihrem Kontext vorkommt und welche Prüfschritte nötig sind.

Schritt 5: Integration in Systeme und Abläufe

Der größte Unterschied zwischen einem Chatfenster und echter Entlastung liegt in der Integration. Solange Mitarbeitende Inhalte manuell hinein und wieder heraus kopieren, bleibt der Effekt begrenzt. Eine integrierte KI greift auf E-Mail, Kalender, Kontakte, CRM, Dateien und Fachsoftware zu und kann Aufgaben vorbereiten oder ausführen.

Mit wachsender Reichweite steigt die Verantwortung. Legen Sie für jede Aktion fest, ob die KI sie selbstständig ausführen darf oder ob ein Mensch freigeben muss. Dieses Prinzip heißt Human in the Loop.

Achten Sie auf ein Protokoll, das festhält, welche Aktion wann auf welcher Grundlage ausgeführt wurde. Das schafft Nachvollziehbarkeit gegenüber Mitarbeitenden, Kunden und Prüfern.

Schritt 6: Mitarbeitende schulen

Seit dem 2. Februar 2025 gilt Art. 4 der KI-Verordnung (EU) 2024/1689. Unternehmen, die KI-Systeme einsetzen, müssen Maßnahmen zur KI-Kompetenz ihres Personals ergreifen. Die Vorschrift wurde 2026 durch den sogenannten Digital Omnibus angepasst, die Pflicht zu Schulungsmaßnahmen bleibt aber bestehen. Details erläutert der Ratgeber KI-Schulung für Mitarbeiter.

Unabhängig von der Rechtslage entscheidet die Schulung darüber, ob eine KI-Einführung gelingt. Eine gute Schulung ist kurz, praktisch und rollenbezogen:

• Grundlagen: Was kann die KI, was nicht, und warum macht sie Fehler?
• Regeln: Welche Daten dürfen hinein, was ist freigabepflichtig?
• Praxis: Die konkreten Anwendungsfälle des eigenen Bereichs, an echten Beispielen geübt.
• Prüfen: Wie kontrolliere ich ein Ergebnis, bevor ich es weitergebe?

Benennen Sie in jedem Bereich eine Ansprechperson, die Fragen sammelt und Erfahrungen weitergibt. Das wirkt oft mehr als jede Präsentation.

Schritt 7: Betrieb, Messung und Weiterentwicklung

Nach dem Pilot beginnt die eigentliche Arbeit. KI im Betrieb braucht Pflege wie jedes andere System. Legen Sie fest, wer verantwortlich ist, welche Kennzahlen Sie verfolgen und in welchem Rhythmus Sie nachsteuern.

Sinnvolle Kennzahlen

• Bearbeitungszeit pro Vorgang vor und nach der Einführung
• Anteil der Entwürfe, die ohne wesentliche Änderung übernommen werden
• Anzahl erkannter Fehler und deren Ursache
• Aktive Nutzung je Bereich
• Rückmeldungen der Mitarbeitenden

Prüfen Sie quartalsweise, ob neue Anwendungsfälle hinzukommen sollen und ob die bestehenden noch passen. Achten Sie dabei auf Abhängigkeiten. Wenn Ihr Wissen fest an ein bestimmtes Modell oder einen Anbieter gebunden ist, wird jeder Wechsel teuer. Eine Architektur, in der Modelle austauschbar sind und das Unternehmenswissen erhalten bleibt, schützt Ihre Investition.

Wer im Betrieb verantwortlich ist

Bewährt hat sich eine schlanke Aufteilung. Die Geschäftsführung setzt Ziele und Prioritäten. Eine KI-verantwortliche Person koordiniert Anwendungsfälle, Schulungen und die Abstimmung mit Datenschutz und IT. In jedem Fachbereich gibt es eine Ansprechperson, die Rückmeldungen sammelt und Verbesserungen anstößt. Mehr Gremien braucht es im Mittelstand selten.

Welche Fehler sollten Sie bei der KI-Implementierung vermeiden?

• Tool vor Problem: Lizenzen werden gekauft, bevor klar ist, wofür.
• Zu viele Fälle auf einmal: Zehn Piloten parallel überfordern Fachbereiche und verwässern die Messung.
• Kein Wissenszugang: Eine KI ohne Unternehmenswissen liefert allgemeine Antworten, die niemand braucht.
• Schatten-KI: Ohne erlaubte Werkzeuge nutzen Mitarbeitende private Konten mit Firmendaten.
• Keine Freigaben: Die KI handelt nach außen, ohne dass ein Mensch geprüft hat.
• Keine Verantwortung: Niemand ist zuständig, wenn das Projekt nach dem Pilot an Schwung verliert.

Wie ELEVUM die Einführung begleitet

ELEVUM baut Unternehmen eine eigene Unternehmens-KI: eine Instanz pro Unternehmen, mit eigenem Namen, langfristigem Gedächtnis und spezialisierten KI-Agenten, die über Freigaben und ein Protokoll gesteuert werden. Die Schritte aus diesem Leitfaden bilden den Rahmen, in dem wir ein solches System gemeinsam mit Ihnen aufbauen.

Wenn Sie zuerst einschätzen möchten, wo Ihr Unternehmen steht, ist der KI-Check ein guter Anfang.