Was ist RAG? Retrieval-Augmented Generation einfach erklärt

RAG (Retrieval-Augmented Generation) ist eine Methode, damit ein KI-Modell Fragen mit deinen eigenen Informationen beantwortet. Wenn jemand eine Frage stellt, durchsucht deine App zuerst deine Dokumente nach den passendsten Textstellen und gibt diese dann zusammen mit der Frage an das Modell weiter. Das Modell formuliert seine Antwort aus diesem Text, statt sich nur auf das zu verlassen, was es im Training zufällig gelernt hat.

Warum RAG beim Bauen mit KI wichtig ist

Ein großes Sprachmodell weiß viel über die Welt im Allgemeinen, aber nichts über dein Unternehmen: deine Preise, deine Richtlinien, dein Produkthandbuch, die Support-Tickets von letzter Woche. Außerdem hat es einen Trainingsstichtag, es kennt also nichts Aktuelles. Fragst du es trotzdem, kann es eine selbstbewusste, plausibel klingende und falsche Antwort liefern.

Dafür gibt es drei grobe Lösungswege:

Ansatz	Was er tut	Geeignet für
Alles in den Prompt kopieren	Jede Frage zusammen mit all deinen Dokumenten senden	Kleine Textmengen – ein paar Seiten
RAG	Deine Dokumente durchsuchen und nur die relevanten Teile senden	Größere oder sich ändernde Sammlungen: Hilfe-Center, Handbücher, Notizen
Fine-Tuning	Das Modell mit Beispielen weitertrainieren	Tonfall, Format und wiederkehrende Aufgaben – nicht Fakten, die sich ändern

Moderne Modelle akzeptieren lange Prompts, bei einer kurzen FAQ ist die erste Option deshalb oft in Ordnung. RAG lohnt sich, wenn du mehr Text hast, als du jedes Mal senden willst – denn jedes Wort, das du sendest, kostet Geld und Zeit (siehe wie LLM-APIs abrechnen).

Baust du eine Funktion „Chatte mit unseren Dokumenten“, einen Support-Assistenten oder ein internes Wissenstool, baust du so gut wie sicher irgendeine Form von RAG.

Ein Alltagsvergleich

Stell dir eine Klausur mit offenen Unterlagen vor. Ein Student, der aus dem Gedächtnis antworten muss, kann sich vertun oder blufft. Ein Student, der zuerst die richtigen Seiten aufschlagen, lesen und dann antworten darf, ist deutlich zuverlässiger – solange er die richtigen Seiten findet.

Der Student ist das Sprachmodell.
Das Lehrbuch sind deine Dokumente.
Die richtigen Seiten aufschlagen ist das Retrieval.
Die Antwort aus diesen Seiten formulieren ist die Generierung.

RAG ist die Variante mit offenem Buch. Und wie bei der Klausur hängt die Qualität der Antwort stark davon ab, ob die richtigen Seiten gefunden wurden.

So funktioniert RAG Schritt für Schritt

Ein typischer RAG-Aufbau hat zwei Phasen.

Deine Dokumente vorbereiten (vorab erledigt):

Sammeln des Quellmaterials – Hilfeartikel, PDFs, Richtlinien, Produktdaten.
Zerlegen (Chunking): Lange Dokumente werden in kleinere Stücke geteilt, oft von einigen Absätzen, damit die Suche nur den relevanten Teil zurückgeben kann.
Embedding erzeugen: Jeder Abschnitt wird an ein Embedding-Modell geschickt, das den Text in ein Embedding umwandelt – eine lange Zahlenliste, die seine Bedeutung abbildet. Texte über ähnliche Themen erhalten ähnliche Zahlen.
Speichern: Die Abschnitte und ihre Embeddings werden in einer Datenbank abgelegt, die nach Ähnlichkeit suchen kann (oft Vektordatenbank oder Vektorindex genannt).

Eine Frage beantworten (jedes Mal erledigt):

Die Frage embedden – mit demselben Embedding-Modell.
Abrufen: Die Abschnitte finden, deren Embeddings der Frage am nächsten sind, zum Beispiel die fünf besten.
Prompt bauen: Anweisungen, die gefundenen Abschnitte und die Frage.
Generieren: Das Sprachmodell schreibt eine Antwort auf Basis dieser Abschnitte, idealerweise mit Angabe, welche es verwendet hat.

Die Suche nach Bedeutung macht dieses Verfahren möglich: Eine Frage wie „Wie bekomme ich mein Geld zurück?“ findet einen Abschnitt mit dem Titel „Rückerstattungsrichtlinie“, obwohl beide kein einziges Wort gemeinsam haben.

Ein Beispiel: der Hilfe-Assistent eines Fitnessstudios

Nehmen wir an, ein Fitnessstudio hat 40 Hilfeartikel und möchte einen Chat-Assistenten auf seiner Website. Ein Mitglied fragt: „Kann ich meine Mitgliedschaft während einer Reise pausieren?“

Die App embedded die Frage und ruft die drei nächsten Abschnitte ab. Einer davon lautet:

Mitgliedschaft einfrieren: Mitglieder mit Monatstarif können ihre
Mitgliedschaft bis zu 2 Monate pro Jahr einfrieren. Beantragung an der
Rezeption oder in der App mindestens 7 Tage vor Beginn des Einfrierens.

Der Prompt an das Modell sieht dann etwa so aus:

Du bist der Hilfe-Assistent von Northside Gym.
Antworte nur auf Basis der folgenden Quellen. Wenn die Antwort dort
nicht steht, sag, dass du es nicht weißt, und schlage vor, sich an die
Rezeption zu wenden.
Nenne, welche Quelle du verwendet hast.

[Quelle 1: Mitgliedschaft einfrieren] Mitglieder mit Monatstarif können einfrieren...
[Quelle 2: Mitgliedschaft kündigen] ...
[Quelle 3: Gästepässe] ...

Frage: Kann ich meine Mitgliedschaft während einer Reise pausieren?

Und das Modell antwortet: „Ja – bei einem Monatstarif kannst du die Mitgliedschaft bis zu zwei Monate im Jahr einfrieren. Beantrage es an der Rezeption oder in der App mindestens 7 Tage vorher (Quelle: Mitgliedschaft einfrieren).“

Das Studio hat nichts neu trainiert. Ändert es die Richtlinie für das Einfrieren, aktualisiert es den Artikel, die App erzeugt für diesen Abschnitt neue Embeddings, und die nächste Antwort spiegelt die Änderung wider.

Wichtige Begriffe

Begriff	Bedeutung
LLM	Large Language Model – die KI, die die Antwort schreibt. Siehe was ein LLM ist.
Embedding	Eine Zahlenliste, die die Bedeutung eines Textstücks abbildet.
Embedding-Modell	Ein Modell, das Embeddings erzeugt. Meist getrennt vom Chatmodell und deutlich günstiger.
Chunk	Ein Stück eines Dokuments, so groß, dass es für sich allein abgerufen werden kann.
Vektordatenbank / Vektorsuche	Speicher, der Einträge mit ähnlichen Embeddings findet. Manche klassischen Datenbanken bieten das ebenfalls – Postgres zum Beispiel über die Erweiterung pgvector.
Top-k	Wie viele Abschnitte pro Frage abgerufen werden.
Hybridsuche	Die Kombination aus Suche nach Bedeutung und klassischer Stichwortsuche, was bei exakten Begriffen wie Produktcodes hilft.
Kontextfenster	Die maximale Textmenge, die ein Modell in einer Anfrage verarbeiten kann.
Grounding / Quellenangaben	Die Antwort an bestimmte abgerufene Quellen binden und diese anzeigen.

Häufige Irrtümer

„RAG trainiert das Modell mit meinen Daten.“ Nein. Am Modell ändert sich nichts; es liest zur Fragezeit nur zusätzlichen Text.
„RAG bedeutet keine Halluzinationen mehr.“ Es bedeutet weniger. Verpasst das Retrieval den richtigen Abschnitt oder steht die Antwort nicht in deinen Dokumenten, kann das Modell trotzdem raten. Weise es an, „Ich weiß es nicht“ zu sagen, und teste mit Fragen, deren Antworten du kennst.
„Ich brauche eine spezielle Vektordatenbank.“ Oft nicht. Bei überschaubaren Datenmengen kann eine Vektorerweiterung der Datenbank, die du ohnehin hast, oder sogar einfache Stichwortsuche reichen.
„Größere Abschnitte sind besser.“ Zu groß, und du schickst viel irrelevanten Text (mehr Kosten, mehr Verwirrung); zu klein, und ein Abschnitt verliert den Zusammenhang, der ihn sinnvoll macht. Rechne damit, nachzujustieren.
„Lade einfach alles hoch.“ Veraltete, doppelte oder widersprüchliche Dokumente erzeugen widersprüchliche Antworten. Das Aufräumen des Quellmaterials ist oft die größte Verbesserung, die du machen kannst.
„Jeder kann jedes Dokument sehen.“ Nur wenn du es so baust. Sind manche Dokumente nur für bestimmte Nutzer bestimmt, muss die Suche selbst nach der fragenden Person filtern – sonst kann der Assistent die Daten eines Kunden einem anderen zitieren.

Was es kostet

Eine RAG-Funktion hat meist drei laufende Kosten: das Embedding deiner Dokumente (klein und meist einmalig), das Embedding jeder Frage (winzig) und der Aufruf des Sprachmodells (der Hauptposten, der mit der Anzahl der gesendeten Abschnitte wächst). Dazu kommt der Speicher in deiner Datenbank. Dein KI-Anbieter stellt diese Kosten deinem eigenen Konto in Rechnung, setze dort also ein Ausgabenlimit.

Was du deinen KI-Builder fragen kannst

„Prüfe vor dem Bau von RAG: Ist unser Inhalt klein genug, um ihn einfach in den Prompt zu packen?“
„Teile die Hilfeartikel in Abschnitte von einigen Absätzen, behalte Titel und Quelllink jedes Abschnitts und speichere die Embeddings in unserer Datenbank.“
„Nutze Hybridsuche – Bedeutung plus Stichwort –, damit Produktcodes trotzdem treffen.“
„Weise das Modell an, nur aus den abgerufenen Quellen zu antworten, zu sagen, wenn es etwas nicht weiß, und die Quellen unter jeder Antwort anzuzeigen.“
„Durchsuche nur Dokumente, die der angemeldete Nutzer sehen darf.“
„Erzeuge für ein Dokument automatisch neue Embeddings, sobald es bearbeitet wird.“
„Bewahre den Schlüssel des KI-Anbieters auf dem Server als Geheimnis auf, niemals im Browser.“
„Protokolliere jede Frage, die abgerufenen Abschnitte und die Antwort, damit ich schlechte Antworten prüfen kann.“

RAG in Mythex

Mythex enthält kein fertiges Wissensdatenbank- oder RAG-Produkt. Was Mythex tut, ist, den Code dafür in deine App zu schreiben: Du bringst deine Dokumente und deinen eigenen KI-Anbieter-Schlüssel mit, gespeichert als Projektgeheimnis, und der Agent baut die Abruf- und Chat-Teile. Gespeichert wird in der Postgres-Datenbank des Projekts. Die Nutzung des Anbieters wird deinem Anbieterkonto berechnet, nicht über Mythex-Credits. Die Doku empfiehlt, mit einer einfachen KI-Funktion zu beginnen und RAG hinzuzufügen, sobald diese läuft – siehe eine KI-App bauen und unsere Leitfäden zu einem KI-Chatbot-App bauen und KI-Funktionen hinzufügen.

Fragen

Was ist RAG einfach erklärt?

RAG (Retrieval-Augmented Generation) ist eine Methode, damit ein KI-Modell mit deinen eigenen Informationen antwortet. Bevor das Modell antwortet, durchsucht deine App deine Dokumente nach den Textstellen, die zur Frage passen, und fügt sie in den Prompt ein. Die Antwort stützt sich dann auf diesen Text und nicht nur auf das, was das Modell im Training gelernt hat.

Wird die KI bei RAG mit meinen Daten trainiert?

Nein. RAG verändert das Modell überhaupt nicht. Es sucht relevanten Text in dem Moment, in dem eine Frage gestellt wird, und gibt ihn zusammen mit der Frage an das Modell weiter. Wenn du ein Dokument änderst, kann die nächste Antwort sofort die neue Version nutzen.

Ist RAG dasselbe wie Fine-Tuning?

Nein. Fine-Tuning verändert das Verhalten eines Modells, indem es mit Beispielen weitertrainiert wird. Das ist langsamer und eignet sich besser für Stil oder Format. RAG gibt dem Modell Fakten, die es zur Fragezeit lesen kann. Das ist besser für Wissen, das sich ändert oder exakt zitiert werden muss.

Verhindert RAG KI-Halluzinationen?

Es verringert sie, beseitigt sie aber nicht. Wenn die Suche die falschen Textstellen findet oder die Antwort nicht in deinen Dokumenten steht, kann das Modell trotzdem raten. Gute RAG-Apps weisen das Modell an, zu sagen, wenn es etwas nicht weiß, und zeigen die verwendeten Quellen an.