AI-Grenzen

Ein Sprachmodell versucht, alles zu beantworten, in jedem Ton, für jeden. Für einen geschäftlichen Assistenten ist das ein Risiko: Es kann vom Thema abweichen, eine Rückerstattung versprechen, die es nicht autorisiert ist zu geben, die Daten eines anderen Kunden offenbaren, Anweisungen folgen, die auf einer Webseite platziert sind, oder anstößige Inhalte produzieren, wenn es provoziert wird.

Die OWASP Top 10 für LLM-Anwendungen listet die Hauptgefahren auf, einschließlich Eingabeinjektion, Offenlegung sensibler Informationen, übermäßige Befugnisse (ein Agent, der mehr tun darf, als er sollte) und Fehlinformationen. NISTs Generative AI Profile (AI 600-1) betrachtet dieselben Probleme aus einer Risikomanagement-Perspektive.

Eingabekontrollen filtern, was das Modell erreicht: Moderation von missbräuchlichen Nachrichten, Spam-Limits, Erkennung sensibler Daten. Anweisungsebenen-Kontrollen definieren den Umfang und das Verhalten: die Rolle des Assistenten, Themen, die abgelehnt werden sollen, Verpflichtungen, die er ohne Beweise nicht eingehen darf. Werkzeugebene-Kontrollen beschränken, was der Agent tun kann: Nur-Lese-Zugriff, Aktionen, die auf die eigenen Aufzeichnungen des angemeldeten Kunden beschränkt sind, Bestätigung vor allem, was unwiderruflich ist. Ausgabekontrollen überprüfen die Antwort, bevor sie gesendet wird.

Die stärksten Schutzvorrichtungen werden im Code durchgesetzt, nicht im Prompt. „Zeige dem Kunden nur seine eigenen Bestellungen“ ist zuverlässig, wenn das Bestellwerkzeug selbst nach dem verifizierten Kunden filtert; es ist fragil, wenn es nur ein Satz in den Anweisungen ist.

Zwei Fehlermodi sind häufig. Überblockierung: ein Assistent, der so eingeschränkt ist, dass er vernünftige Fragen ablehnt, was Kunden genauso sicher vertreibt wie eine falsche Antwort. Nur-Prompt-Regeln: Grenzen, die im Systemprompt geschrieben sind, aus denen ein entschlossener Benutzer das Modell herausreden kann.

Schutzvorrichtungen müssen auch überwacht werden. Moderationsprotokolle, abgelehnte Anfragen und Eskalationen zeigen, ob die Grenzen an der richtigen Stelle sind.

AI SmartTalk kombiniert mehrere Ebenen. Eingebaute Richtlinien halten den Assistenten in seiner Rolle, lehnen Off-Topic-Anfragen und behauptete Autorität ab, behandeln abgerufenen Text als Daten und nicht als Anweisungen und verlangen Beweise, bevor Verpflichtungen eingegangen werden. Bestellwerkzeuge geben nur die eigenen Bestellungen des angemeldeten Kunden zurück, nach einem Bestätigungscode per E-Mail. Optionale Moderation mit entspannten, moderaten oder strengen Voreinstellungen filtert missbräuchliche Nachrichten und führt ein Prüfprotokoll, und Spam-Limits und -Verbote schützen die Kanäle. Wenn der Assistent aufhören sollte, übergibt er das Gespräch an das Team.