Großes Sprachmodell (LLM)
Kurze Definition
Ein großes Sprachmodell (LLM) ist ein neuronales Netzwerk, das auf sehr großen Textmengen trainiert wurde, um das nächste Wort vorherzusagen, was es ihm ermöglicht, natürliche Sprache zu verstehen und zu generieren. Es ist die Denkmaschine hinter modernen Chatbots und KI-Agenten.
Auf dieser Seite
Wie ein LLM funktioniert
Ein LLM liest Text als Tokens – Teile von Wörtern – und berechnet für jede Position die Wahrscheinlichkeit jedes möglichen nächsten Tokens. Eine Antwort zu generieren bedeutet, diese Vorhersage Token für Token zu wiederholen. Fast alle aktuellen LLMs verwenden die 2017 von Vaswani und Kollegen eingeführte Transformer-Architektur, deren Aufmerksamkeitsmechanismus es dem Modell ermöglicht, jeden Teil des Inputs bei der Produktion jedes Wortes zu gewichten.
Das Training erfolgt in Phasen. Das Vortraining auf einem riesigen Textkorpus lehrt Sprache und allgemeines Wissen. Das Anpassen an Anweisungen und das Feedback von Menschen lehren das Modell dann, Anfragen zu folgen, einen Dialog zu führen und einige Aufgaben abzulehnen. Im Jahr 2020 zeigte das GPT-3-Papier, dass ein ausreichend großes Modell neue Aufgaben aus wenigen Beispielen im Prompt ausführen konnte, ohne neu trainiert zu werden.
Was ein LLM nicht weiß
Das Wissen eines LLM ist am Ende seiner Trainingsdaten eingefroren, und es hat niemals die privaten Informationen Ihres Unternehmens gesehen: Preise, Lagerbestand, Rückgabebedingungen, Kundenbestellungen. Wenn man es danach fragt, wird es oft eine plausible Vermutung äußern – eine Halluzination. Es hat auch ein begrenztes Kontextfenster, die Menge an Text, die es gleichzeitig berücksichtigen kann.
Deshalb verlassen sich nützliche Geschäftsassistenten selten nur auf das Modell. Retrieval-augmented Generation (RAG) liefert ihm die relevanten Passagen aus Ihrem Inhalt, und Tools ermöglichen es ihm, auf Live-Systeme wie einen Katalog oder eine Bestelldatenbank zuzugreifen.
Ein Modell auswählen
Modelle unterscheiden sich in der Qualität des Denkens, der Geschwindigkeit, dem Preis pro Token, den Sprachen, die sie gut verarbeiten, der Kontextgröße und wo sie gehostet werden. Für den Kundenservice ist ein schnelles, mittelgroßes Modell oft ausreichend für Routinefragen, während schwierigere Fälle – lange Richtlinien, mehrstufige Anfragen – von einem stärkeren Modell profitieren. Auch der Standort der Daten ist wichtig: Ein europäisches Unternehmen zieht möglicherweise ein in der EU gehostetes Modell vor.
Das Modell ist nur ein Teil des Ergebnisses. Anweisungen, Basisdaten, Tools und die Bewertung realer Gespräche sind in der Regel wichtiger als der Wechsel von einem führenden Modell zu einem anderen.
LLMs in AI SmartTalk
AI SmartTalk-Assistenten basieren auf LLMs und verwenden standardmäßig in der EU gehostete Modelle; ein Kunde kann stattdessen auch Modelle anderer Anbieter wählen. Die Antworten des Assistenten basieren auf den indizierten Inhalten und dem Katalog des Unternehmens, und er verwendet Tools, um Live-Daten abzurufen, anstatt das Modell zu bitten, sich daran zu erinnern.
Häufig gestellte Fragen
Ist ChatGPT ein LLM?
ChatGPT ist eine Anwendung, die auf LLMs von OpenAI basiert. Das Modell generiert Text; die Anwendung fügt eine Chat-Oberfläche, ein Gesprächsprotokoll, Tools wie Websuche und Sicherheitsregeln hinzu.
Was bedeutet „groß“ im großen Sprachmodell?
Es bezieht sich auf die Anzahl der Parameter – die internen Gewichte, die im Training gelernt wurden, von Milliarden bis Hunderte von Milliarden – und auf die Größe des Trainingskorpus. Es gibt keinen genauen Schwellenwert.
Kann ein LLM aus den Daten meines Unternehmens lernen?
Es gibt zwei Ansätze. Fine-Tuning trainiert das Modell mit Ihren Beispielen neu, was kostspielig ist und nicht mit sich ändernden Fakten Schritt hält. Retrieval-augmented Generation lässt das Modell unverändert und gibt ihm zur Fragezeit die richtigen Passagen, was besser für Preise, Lagerbestände und Richtlinien geeignet ist.
Sind LLMs sicher im Umgang mit Kundendaten?
Es hängt von den Bedingungen des Anbieters ab, wo das Modell gehostet wird und wie die Anwendung mit persönlichen Daten umgeht. Überprüfen Sie, ob der Anbieter Ihre Daten für das Training verwendet, wo sie verarbeitet werden und ob eine Vereinbarung zur Datenverarbeitung verfügbar ist.