Φράχτες AI

Ένα μοντέλο γλώσσας θα προσπαθήσει να απαντήσει σε οτιδήποτε, σε οποιονδήποτε τόνο, για οποιονδήποτε. Για έναν επιχειρηματικό βοηθό, αυτό είναι επικίνδυνο: μπορεί να απομακρυνθεί από το θέμα, να υποσχεθεί μια επιστροφή χρημάτων χωρίς να έχει την εξουσία να το κάνει, να αποκαλύψει δεδομένα άλλου πελάτη, να ακολουθήσει οδηγίες που έχουν φυτευτεί σε μια ιστοσελίδα ή να παράγει προσβλητικό περιεχόμενο όταν προκληθεί.

Η Λίστα OWASP Top 10 για εφαρμογές LLM αναφέρει τους κύριους κινδύνους, συμπεριλαμβανομένης της έγχυσης εντολών, της αποκάλυψης ευαίσθητων πληροφοριών, της υπερβολικής εξουσίας (ένας πράκτορας που επιτρέπεται να κάνει περισσότερα από όσα θα έπρεπε) και της παραπληροφόρησης. Το Προφίλ Γενετικής Τεχνητής Νοημοσύνης της NIST (AI 600-1) πλαισιώνει τα ίδια ζητήματα από την οπτική της διαχείρισης κινδύνων.

Οι έλεγχοι εισόδου φιλτράρουν τι φτάνει στο μοντέλο: μετριασμός κακοποιητικών μηνυμάτων, όρια spam, ανίχνευση ευαίσθητων δεδομένων. Οι έλεγχοι σε επίπεδο εντολών καθορίζουν το πεδίο και τη συμπεριφορά: ο ρόλος του βοηθού, θέματα που πρέπει να απορριφθούν, δεσμεύσεις που δεν μπορεί να αναλάβει χωρίς αποδείξεις. Οι έλεγχοι σε επίπεδο εργαλείων περιορίζουν τι μπορεί να κάνει ο πράκτορας: πρόσβαση μόνο για ανάγνωση, ενέργειες περιορισμένες στα δικά του αρχεία του συνδεδεμένου πελάτη, επιβεβαίωση πριν από οτιδήποτε μη αναστρέψιμο. Οι έλεγχοι εξόδου ελέγχουν την απάντηση πριν αποσταλεί.

Οι ισχυρότεροι φράχτες ασφαλείας επιβάλλονται στον κώδικα, όχι στην εντολή. "Δείξτε μόνο στον πελάτη τις δικές του παραγγελίες" είναι αξιόπιστο όταν το εργαλείο παραγγελιών φιλτράρει από τον επαληθευμένο πελάτη; είναι εύθραυστο όταν είναι μόνο μια πρόταση στις οδηγίες.

Δύο τρόποι αποτυχίας είναι κοινοί. Υπερ-φραγή: ένας βοηθός τόσο περιορισμένος που αρνείται λογικές ερωτήσεις, κάτι που απομακρύνει τους πελάτες εξίσου σίγουρα με μια λάθος απάντηση. Κανόνες μόνο στην εντολή: περιορισμοί γραμμένοι στην εντολή του συστήματος που ένας αποφασισμένος χρήστης μπορεί να πείσει το μοντέλο να παρακάμψει.

Οι φράχτες ασφαλείας χρειάζονται επίσης παρακολούθηση. Τα αρχεία μετριασμού, οι απορριφθείσες αιτήσεις και οι κλιμακώσεις δείχνουν αν οι περιορισμοί είναι στη σωστή θέση.

Το AI SmartTalk συνδυάζει αρκετά επίπεδα. Οι ενσωματωμένες πολιτικές κρατούν τον βοηθό στο ρόλο του, απορρίπτουν αιτήματα εκτός θέματος και ισχυρισμούς εξουσίας, θεωρούν το ανακτηθέν κείμενο ως δεδομένα και όχι ως οδηγίες, και απαιτούν αποδείξεις πριν από δεσμεύσεις. Τα εργαλεία παραγγελιών επιστρέφουν μόνο τις δικές του παραγγελίες του συνδεδεμένου πελάτη, μετά από έναν κωδικό επαλήθευσης μέσω email. Προαιρετικός μετριασμός με χαλαρές, μέτριες ή αυστηρές ρυθμίσεις φιλτράρει κακοποιητικά μηνύματα και διατηρεί ένα αρχείο ελέγχου, και τα όρια και οι απαγορεύσεις spam προστατεύουν τα κανάλια. Όταν ο βοηθός πρέπει να σταματήσει, παραδίδει τη συνομιλία στην ομάδα.