Wie lernt ChatGPT Ihr Unternehmen kennen?
Ein Sprachmodell wie ChatGPT kennt Ihr Unternehmen nicht. Es weiß nichts über Ihre Kunden, Preise, Projekte oder internen Absprachen. Damit es nützliche Antworten gibt, muss es Zugang zu Ihrem Wissen bekommen. Dafür gibt es fünf Wege, die aufeinander aufbauen:
- Dateien hochladen und Projekte: Sie geben Dokumente direkt in den Chat.
- Eigene Assistenten mit Wissensdateien: Sie bauen einen Assistenten für eine bestimmte Aufgabe und teilen ihn im Team.
- Connectors und „Company Knowledge“: Der Chat greift auf Systeme wie SharePoint, Slack oder Google Drive zu.
- Eigene Wissensdatenbank mit RAG: Sie bauen einen eigenen Suchindex über Ihre Dokumente, unabhängig vom Modell.
- Eigene Unternehmens-KI mit Memory und Agenten: Eine eigene Instanz kennt Personen, Projekte und Entscheidungen und arbeitet in Ihren Systemen mit.
Der Bedarf ist da. Laut Bitkom (14.09.2026) nutzen 57 Prozent der Unternehmen in Deutschland KI. Unter den Nutzern nennen 66 Prozent die Anforderungen an den Datenschutz als größtes Hemmnis. Deshalb lohnt es sich, den Weg bewusst zu wählen.
Dieser Ratgeber vergleicht die konkreten Wege. Warum Wissensmanagement mit KI grundsätzlich anders funktioniert als ein Wiki, lesen Sie im Ratgeber Wissensmanagement mit KI. Den Produktvergleich zwischen ChatGPT, Copilot und einer eigenen KI finden Sie unter ChatGPT, Copilot oder eigene KI.
Weg 1: Dateien hochladen und Projekte
Was es ist: Sie laden Dokumente in einen Chat oder in ein Projekt, etwa in ChatGPT Projects oder Claude Projects. Ein Projekt bündelt Gespräche, Dateien und Anweisungen an einem Ort.
Wie es funktioniert: Das Modell liest die hochgeladenen Dateien und nutzt sie als Grundlage für seine Antworten. Mit festen Anweisungen im Projekt legen Sie Ton, Rolle und Regeln fest.
Stärken: Sie starten in wenigen Minuten. Es braucht keine IT und keine Schnittstelle. Für eine Ausschreibung, ein Angebot oder eine Analyse ist das oft genau richtig.
Grenzen: Das Wissen hängt an einer Person oder einem Projekt. Die Zahl der Dateien ist je nach Plan begrenzt. Ändert sich ein Dokument, müssen Sie die neue Fassung selbst hochladen. Je nach Plan lassen sich Projekte inzwischen im Team teilen, die Pflege bleibt aber Handarbeit.
Wann es reicht: Für einzelne Vorhaben mit überschaubarer Laufzeit und wenigen, stabilen Dokumenten.
Weg 2: Custom GPTs und eigene Assistenten mit Wissensdateien
Was es ist: Ein eigener Assistent mit festen Anweisungen und hinterlegten Wissensdateien, zum Beispiel für Angebotsentwürfe oder interne Richtlinien. Bei OpenAI hießen diese Assistenten bisher Custom GPTs, bei anderen Anbietern gibt es vergleichbare Funktionen.
Wie es funktioniert: Sie beschreiben Aufgabe und Regeln, laden Wissensdateien hoch und geben den Assistenten für Ihr Team frei. Alle arbeiten mit derselben Grundlage.
Stärken: Einheitliche Antworten für wiederkehrende Fragen. Gut geeignet, um gutes Vorgehen im Team zu verbreiten.
Grenzen: Umfang und Zahl der Dateien sind begrenzt. Das Wissen ist statisch: Es ist so aktuell wie der letzte Upload. Außerdem bauen Anbieter diese Funktionen um. OpenAI hat angekündigt, Custom GPTs durch Plugins abzulösen, mit einem Zeitplan bis Dezember 2026 und je nach Plan abweichenden Fristen (OpenAI Help Center). Wer darauf aufbaut, muss mit solchen Wechseln rechnen.
Wann es reicht: Für klar umrissene Aufgaben mit Wissen, das sich selten ändert, etwa ein Handbuch oder eine Preisliste.
Weg 3: Connectors und „Company Knowledge“
Was es ist: Der Chat greift direkt auf Ihre Systeme zu, statt auf hochgeladene Kopien. OpenAI bietet dafür in ChatGPT Business, Enterprise und Edu seit Oktober 2025 die Funktion „Company Knowledge“. Sie durchsucht verbundene Dienste wie Slack, SharePoint, Google Drive, GitHub, HubSpot und weitere. Microsoft 365 Copilot nutzt für denselben Zweck Microsoft Graph und damit Mails, Kalender, Teams und Dateien in Microsoft 365.
Wie es funktioniert: Bei einer Frage sucht das System in den angebundenen Quellen und antwortet mit Quellenangaben. Dabei gelten die Berechtigungen, die in den Quellsystemen schon bestehen.
Stärken: Das Wissen bleibt aktuell, weil die KI auf die Originale zugreift. Rechte müssen nicht neu gepflegt werden. Wenn Ihre Daten überwiegend in diesen Diensten liegen, ist das ein starker Schritt mit wenig Aufwand.
Grenzen: Sie sind an einen Anbieter und dessen Liste von Connectors gebunden. Fachsoftware ohne passenden Connector bleibt außen vor. Das System beantwortet Fragen, übernimmt aber keine Abläufe. Und es hat kein eigenes Gedächtnis für Entscheidungen, Zusammenhänge und Zuständigkeiten, die in keinem Dokument stehen.
Wann es reicht: Wenn Ihr Wissen in verbreiteten Cloud-Diensten liegt und Mitarbeitende vor allem schneller finden sollen, was dort schon steht.
Stand Oktober 2026. Funktionen und Umfang ändern sich häufig. Prüfen Sie den aktuellen Stand bei OpenAI und Microsoft.
Weg 4: Eigene Wissensdatenbank mit RAG
Was es ist: Ein eigener Index über Ihre Dokumente, den ein beliebiges Sprachmodell abfragt. Das Verfahren heißt Retrieval Augmented Generation (RAG).
Wie es funktioniert: Ihre Dokumente werden in Abschnitte zerlegt und durchsuchbar gemacht. Bei jeder Frage sucht das System die passenden Stellen und gibt sie einem Large Language Model als Grundlage. Die Antwort verweist auf die Quellen.
Stärken: Sie entscheiden, welche Quellen hineinkommen und welches Modell antwortet. Auch Fachsoftware und eigene Ablagen lassen sich einbinden. Der Betrieb ist auf eigenen Servern möglich.
Grenzen: Jemand muss das System aufbauen, Quellen anbinden und die Datenqualität sichern. Veraltete oder doppelte Dokumente führen zu falschen Antworten. RAG findet Textstellen, kennt aber keinen Verlauf: Was letzte Woche mündlich entschieden wurde, weiß es nicht. Und auch eine RAG-Lösung beantwortet nur Fragen.
Wann es reicht: Wenn Sie viele Dokumente aus unterschiedlichen Systemen durchsuchbar machen wollen und Wert auf Unabhängigkeit vom Anbieter legen.
Weg 5: Eigene Unternehmens-KI mit Memory und Agenten
Was es ist: Eine eigene KI-Instanz für Ihr Unternehmen, die nicht nur Dokumente durchsucht, sondern ein dauerhaftes Gedächtnis hat und in Ihren Systemen mitarbeitet. So ist eine Unternehmens-KI bei ELEVUM aufgebaut.
Wie es funktioniert:
- Langfristiges Memory: Die KI hält Wissen über Personen, Projekte und Entscheidungen fest, nicht nur über Dokumente. Mehr dazu im Glossar unter KI-Memory.
- Angebundene Systeme: E-Mail, Ablage, CRM und Fachsoftware werden nach Ihren Abläufen angebunden.
- Spezialisierte Agenten: KI-Agenten erledigen Aufgaben, statt nur Antworten zu geben.
- Freigaben und Protokoll: Vor kritischen Aktionen fragt die KI nach. Jeder Schritt ist nachvollziehbar.
- Austauschbare Modelle: Das Wissen bleibt im Unternehmen, auch wenn das Modell wechselt.
Stärken: Das Wissen bleibt über Gespräche und Mitarbeitende hinweg erhalten. Die KI übernimmt wiederkehrende Arbeit. Sie wählen den Betrieb: in der Cloud, auf Ihrem Server, hybrid oder vollständig lokal. Mehr zum lokalen Betrieb im Ratgeber Lokale KI im Unternehmen.
Grenzen: Es braucht Aufbau und Betrieb. Abläufe, Rechte und Freigaben müssen zu Beginn geklärt werden. Für ein einzelnes Vorhaben ist dieser Weg zu groß.
Wann es passt: Wenn Wissen über viele Köpfe und Systeme verteilt ist und Sie Arbeit abgeben wollen, nicht nur Fragen stellen. Wie das technisch aufgebaut ist, zeigt die Seite Technologie.
Die fünf Wege im Vergleich
| Weg | Aufwand | Wissen bleibt aktuell? | Kann handeln? | Datenkontrolle | Passt für |
|---|---|---|---|---|---|
| 1. Dateien und Projekte | Sehr gering | Nein, manueller Upload | Nein | Beim Anbieter, je nach Plan | Einzelne Vorhaben |
| 2. Eigene Assistenten | Gering | Nein, statische Dateien | Kaum | Beim Anbieter, je nach Plan | Wiederkehrende Fragen im Team |
| 3. Connectors | Gering bis mittel | Ja, für angebundene Dienste | Eingeschränkt, vom Nutzer gestartet | Beim Anbieter, bestehende Rechte gelten | Wissen in verbreiteten Cloud-Diensten |
| 4. Eigene RAG-Datenbank | Mittel bis hoch | Ja, wenn Quellen synchronisiert werden | Nein | Bei Ihnen, je nach Betrieb | Viele Dokumente, Unabhängigkeit vom Anbieter |
| 5. Eigene Unternehmens-KI | Aufbau und Betrieb | Ja, mit Memory für Entscheidungen | Ja, mit Freigaben und Protokoll | Bei Ihnen, Cloud bis lokal | Verteiltes Wissen und wiederkehrende Abläufe |
Die Wege schließen sich nicht aus. Viele Unternehmen nutzen einen Chat für spontane Fragen und eine eigene KI für Abläufe und Wissen.
Was vor dem Hochladen zu klären ist
Bevor Unternehmenswissen in ein KI-Werkzeug fließt, sollten einige Fragen geklärt sein:
- Kein Unternehmenswissen in private Konten: Personenbezogene oder vertrauliche Daten gehören nicht in private oder kostenlose Konten einzelner Mitarbeitender.
- Business-Pläne prüfen: Für die Business- und Enterprise-Pläne erklärt OpenAI, dass Geschäftsdaten standardmäßig nicht zum Training genutzt werden. Ein Vertrag zur Auftragsverarbeitung ist verfügbar. Prüfen Sie die aktuellen Zusagen auf der Seite OpenAI Business Data.
- AV-Vertrag: Verarbeitet ein Anbieter personenbezogene Daten in Ihrem Auftrag, brauchen Sie einen Vertrag nach Art. 28 DSGVO.
- Datenklassen: Legen Sie fest, welche Daten in welches Werkzeug dürfen. Personalakten und Geschäftsführungsunterlagen bleiben meist außen vor.
- Rechte: Die KI darf niemandem mehr zeigen, als diese Person in den Quellsystemen selbst sehen darf.
Halten Sie diese Regeln schriftlich fest. Ein Muster finden Sie im Ratgeber KI-Richtlinie für Unternehmen. Die Details zu ChatGPT und DSGVO beschreibt der Ratgeber ChatGPT und Datenschutz im Unternehmen. Wie ELEVUM mit Daten umgeht, steht unter Sicherheit und Datenschutz.
Die häufigsten Fehler
- Veraltete Dokumente: Die KI antwortet sicher und flüssig, auch auf Basis einer Preisliste von vor zwei Jahren. Prüfen Sie, welche Fassungen gelten, bevor Sie Dateien anbinden. Sonst steigt das Risiko einer Halluzination oder einer schlicht falschen Antwort.
- Keine Zuständigkeit für Pflege: Wenn niemand verantwortlich ist, veraltet jede Wissensbasis. Benennen Sie für jede Quelle eine zuständige Person.
- Rechte ignoriert: Ein Projekt mit Gehaltsdaten, das im ganzen Team geteilt wird, ist ein Datenschutzproblem. Übernehmen Sie bestehende Berechtigungen, statt sie zu umgehen.
- Chat mit Prozess verwechseln: Ein Chat beantwortet Fragen. Er erledigt keine Abläufe, solange ihn niemand anstößt. Wer erwartet, dass Anfragen von selbst bearbeitet werden, braucht Agenten mit Freigaben. Was dabei für die Sicherheit gilt, beschreibt der Ratgeber KI-Agenten und Sicherheit.
Welcher Weg passt zu Ihrem Unternehmen?
Diese Fragen helfen bei der Einordnung:
- Geht es um ein einzelnes Vorhaben mit wenigen Dokumenten? Dann reichen Dateien im Projekt (Weg 1).
- Soll ein Team dieselben Fragen einheitlich beantworten? Dann passt ein eigener Assistent (Weg 2), solange sich das Wissen selten ändert.
- Liegt Ihr Wissen überwiegend in Microsoft 365, Google Workspace, Slack oder SharePoint? Dann sind Connectors ein naheliegender Schritt (Weg 3).
- Brauchen Sie Fachsoftware, eigene Ablagen oder freie Modellwahl? Dann kommt eine eigene Wissensdatenbank mit RAG infrage (Weg 4).
- Soll die KI wissen, was entschieden wurde, und Arbeit übernehmen? Dann brauchen Sie eine eigene Unternehmens-KI mit Memory und Agenten (Weg 5).
- Dürfen Daten das Haus nicht verlassen? Dann kommen nur Wege infrage, die auf eigenen Servern oder lokal laufen.
Wenn Sie unsicher sind, ordnet der KI-Check Ihr Unternehmen in wenigen Minuten ein. Wovon der Aufwand einer eigenen KI abhängt, steht unter Kosten. Wie eine eigene KI im Alltag arbeitet, zeigt NOVA, die Instanz, mit der ELEVUM selbst arbeitet. Für ein Gespräch über Ihre Ausgangslage nutzen Sie den Kontakt.