RAG: Wie KI das Wissen Ihres Unternehmens nutzbar macht

Große Sprachmodelle wissen erstaunlich viel — nur nichts über Ihr Unternehmen. Kein Modell kennt Ihre Angebote, Ihre Handbücher oder den Beschluss aus dem letzten Meeting. Und wenn es raten muss, klingt die Antwort oft trotzdem überzeugend. Die Datenschutzkonferenz beschreibt dieses Phänomen präzise:

„Man spricht von KI-Halluzinationen, wenn KI-Modelle Informationen erzeugen, die zwar plausibel klingen, aber nicht durch ihre Trainingsdaten gestützt sind.“

Retrieval-Augmented Generation, kurz RAG, ist die etablierte Antwort darauf. Statt das Modell aus dem Gedächtnis antworten zu lassen, wird ihm zu jeder Frage der passende Ausschnitt aus Ihrer eigenen Wissensbasis mitgegeben. Das Modell formuliert dann eine Antwort auf Basis dieser Belege — nicht aus dem trüben Meer seiner Trainingsdaten.

So funktioniert RAG

Der Begriff stammt aus einem Grundlagenpapier von Lewis et al. (2020); die Autoren beobachteten, dass RAG-Modelle „spezifischere, vielfältigere und faktentreuere“ Sprache erzeugen. Der Ablauf besteht aus fünf Schritten:

1. Aufbereitung — Ihre Dokumente werden in kleine Abschnitte („Chunks“) zerlegt und als Vektoren (Embeddings) in einer Vektordatenbank abgelegt.

2. Retrieval — zu einer Frage sucht das System die semantisch nächstgelegenen Passagen heraus — nicht per Stichwort, sondern nach Bedeutung.

3. Anreicherung — die gefundenen Passagen werden dem Prompt beigelegt.

4. Generierung — das LLM formuliert die Antwort aus diesen Belegen.

5. Beleg — die Quellen werden mitgeliefert, sodass jede Aussage nachprüfbar ist.

Warum RAG für Unternehmen der Schlüssel ist

RAG löst drei Probleme auf einmal:

• Aktualität ohne Neu-Training — neue Dokumente landen einfach in der Wissensbasis; das Modell selbst muss nicht neu trainiert werden.

• Weniger Halluzinationen — die Erdung in echten Belegen entspricht dem Grundsatz der Richtigkeit (Art. 5 Abs. 1 lit. d DSGVO). Wichtig bleibt: RAG ist, so die DSK, „eine von mehreren mitigierenden Maßnahmen“ — kein Garant.

• Nachvollziehbarkeit — Quellenbelege machen aus einer Blackbox eine überprüfbare Antwort.

Der Datenschutz-Vorteil — und die Fallstricke

Die Orientierungshilfe RAG der DSK (Oktober 2025) benennt einen oft übersehenen Vorteil: Referenzdaten lassen sich löschen, aktualisieren und beauskunften — anders als Wissen, das fest in ein Modell eintrainiert wurde. Ein Unternehmen kann so Betroffenenrechte wahren. Und, ebenfalls DSK:

„Dadurch kann vermieden werden, dass personenbezogene Daten an Online-Betreiber großer Sprachmodelle übertragen werden.“

Zwei Punkte sind aber zentral. Erstens: Zugriffsrechte gehören auf die Ebene der Wissensbasis, nicht ins Modell. Ein LLM kann nicht selbst steuern, wer welche Passage sehen darf — die Berechtigung muss vor der Abfrage greifen. Zweitens: RAG heilt kein rechtswidriges Modell. Wer ein Modell einsetzt, das auf unrechtmäßig erhobenen Daten trainiert wurde, macht es durch RAG nicht rechtmäßig.

Fazit

RAG verwandelt ein allgemeines Sprachmodell in einen Assistenten, der Ihr Unternehmen kennt — mit belegbaren Antworten und ohne Ihre Daten an externe Anbieter abzugeben. Es ist die Brücke zwischen der Leistungsfähigkeit großer Modelle und den realen Anforderungen an Datenschutz und Verlässlichkeit. Welche Kriterien eine Plattform dafür erfüllen muss, zeigt unser Beitrag DSGVO-konforme KI: die 7 Auswahlkriterien; den Gesamtüberblick gibt der Leitfaden zur KI-Plattform für den Mittelstand.

Quellen

• DSK — Orientierungshilfe RAG (2025)

• DSK — Pressemitteilung zur OH RAG

• Lewis et al. — Retrieval-Augmented Generation (2020)

• AWS — Was ist RAG?