Abruf-unterstützte Generierung (RAG)
Kurze Definition
Retrieval-augmented generation (RAG) ist eine Technik, bei der ein KI-System zunächst relevante Passagen aus einer vertrauenswürdigen Quelle, wie einer Wissensdatenbank oder einem Produktkatalog, abruft und diese dann einem Sprachmodell übergibt, sodass seine Antwort auf diesen Passagen basiert und nicht nur auf seinem Gedächtnis.
Auf dieser Seite
Warum RAG existiert
Ein Sprachmodell lernt aus einem festen Snapshot von Text. Es kennt Ihre Rückgabebedingungen, Ihre aktuellen Preise oder das Produkt, das Sie heute Morgen hinzugefügt haben, und wenn es trotzdem gefragt wird, kann es eine plausible, aber falsche Antwort geben. Ein Modell jedes Mal neu zu trainieren, wenn sich Ihre Inhalte ändern, wäre langsam und teuer.
RAG löst dies, indem es Wissen außerhalb des Modells hält. Ihre Inhalte bleiben in einem durchsuchbaren Speicher, den Sie jederzeit aktualisieren können; das Modell wird nur gebeten, die relevanten Auszüge zu lesen und eine Antwort zu formulieren. Der Ansatz wurde 2020 von Lewis und Kollegen bei Facebook AI Research beschrieben.
Wie es funktioniert, Schritt für Schritt
Zuerst wird der Inhalt vorbereitet: Dokumente, Webseiten oder Produktdaten werden in Passagen aufgeteilt, und jede Passage wird in ein Embedding umgewandelt – eine Liste von Zahlen, die ihre Bedeutung erfasst. Diese Embeddings werden in einem Vektorindex gespeichert, oft zusammen mit einem klassischen Schlüsselwortindex.
Wenn eine Frage eintrifft, wird sie auf die gleiche Weise umgewandelt und die nächstgelegenen Passagen werden abgerufen, manchmal kombiniert mit einer Schlüsselwortsuche oder Filtern wie Sprache oder Kategorie. Die besten Passagen werden in die Eingabeaufforderung des Modells eingefügt mit der Anweisung, aus ihnen zu antworten. Viele Systeme geben auch die Quellen zurück, sodass der Leser überprüfen kann, woher die Antwort stammt.
Grenzen, die man kennen sollte
RAG ist nur so gut wie das, was es abruft. Wenn die richtige Passage fehlt, veraltet oder schlecht aufgeteilt ist, antwortet das Modell aus dem falschen Auszug oder greift auf sein Gedächtnis zurück. Strukturierte Fragen – "die günstigste Jacke auf Lager in Größe M" – werden allein durch die Ähnlichkeitssuche schlecht bedient und benötigen Filter auf echten Daten. Und das Modell kann eine Passage immer noch falsch interpretieren, sodass Antworten zu sensiblen Themen überprüft oder eskaliert werden sollten.
Deshalb kombinieren Produktionssysteme RAG mit strukturierter Suche, Frische-Regeln, die Inhalte bei Änderungen neu synchronisieren, und klaren Anweisungen, um zu sagen, wenn die Quellen die Antwort nicht enthalten.
RAG im Kundenservice
Für einen Support- oder E-Commerce-Assistenten ist RAG das, was es dem Agenten ermöglicht, aus Ihrem FAQ, Ihren Richtlinien und Ihrem Katalog in der Sprache des Kunden zu antworten und auf die Seite zu verweisen, die er verwendet hat. In AI SmartTalk wird das Wissen, aus dem ein Assistent antwortet – Webseiten, Dokumente, FAQ-Einträge und synchronisierte Produkte – auf diese Weise indiziert, und Produktfragen verwenden ebenfalls Filter für Preis, Optionen und Lagerbestand.
Häufig gestellte Fragen
Ist RAG dasselbe wie Feinabstimmung?
Nein. Feinabstimmung ändert die Gewichte des Modells, indem es auf Beispielen trainiert wird; RAG lässt das Modell unverändert und übergibt ihm die richtigen Informationen zum Zeitpunkt der Frage. RAG ist in der Regel die bessere Wahl für Fakten, die sich ändern, wie Preise, Lagerbestände oder Richtlinien.
Stoppt RAG KI-Halluzinationen?
Es reduziert sie erheblich, da das Modell aus echten Passagen antwortet, aber es entfernt sie nicht. Gute Abrufmethoden, eine Anweisung, zuzugeben, wenn die Quellen schweigen, und eine Übergabe an eine Person für sensible Fälle sind weiterhin erforderlich.
Was ist eine Vektordatenbank?
Ein Speicher, der Embeddings indiziert, sodass die Passagen, die in ihrer Bedeutung einer Frage am nächsten kommen, schnell gefunden werden können. Es ist die übliche Abrufschicht eines RAG-Systems, oft kombiniert mit einer Schlüsselwortsuche.
Kann RAG mit einem Produktkatalog arbeiten?
Ja, aber Produkte benötigen mehr als nur Ähnlichkeitssuche: Ein Assistent sollte auf strukturierten Feldern wie Preis, Größe oder Lagerbestand filtern und dann RAG für Beschreibungen und Kaufanleitungen verwenden.