Ingegneria dei prompt

Un modello linguistico vede solo il testo che riceve. Per un assistente al servizio clienti, quel testo ha solitamente diversi strati: un prompt di sistema che descrive chi è l'assistente, chi serve e cosa non deve mai fare; materiale di riferimento recuperato per la domanda attuale; le descrizioni degli strumenti che può utilizzare; e la conversazione fino a quel momento.

L'ingegneria dei prompt è il lavoro di rendere quel pacchetto chiaro e coerente. Istruzioni vaghe (“essere utile”) producono comportamenti vaghi; istruzioni specifiche (“se il numero dell'ordine è mancante, chiedilo prima di cercare”) producono comportamenti prevedibili.

Essere espliciti riguardo al compito, al pubblico e al formato atteso. Dare al modello un ruolo e il contesto di cui un nuovo collega avrebbe bisogno. Mostrare uno o due esempi di buone risposte quando il formato è importante. Separare le istruzioni dai dati — e dire al modello che il testo recuperato è un'informazione da utilizzare, non ordini da seguire. Chiedergli di ragionare passo dopo passo su richieste complesse; Wei e colleghi hanno dimostrato nel 2022 che questo prompting “a catena di pensiero” migliora i risultati su problemi a più fasi. E dire cosa fare quando le informazioni mancano.

I fornitori di modelli pubblicano le proprie guide; la documentazione di Anthropic, ad esempio, raccomanda di essere chiari e diretti, usando esempi e dando al modello spazio per pensare.

Il più comune è il prompt in continua crescita: ogni risposta sbagliata porta a una regola in più, fino a quando le regole si contraddicono a vicenda e il modello non segue bene nessuna di esse. Esempi a pochi colpi copiati parola per parola nelle risposte sono un'altra trappola — inclusi esempi scritti in inglese, che possono spingere l'assistente a rispondere in inglese. Così come mettere fatti che cambiano, come i prezzi, nel prompt invece che in una base di conoscenza.

Un prompt dovrebbe descrivere il comportamento. I fatti appartengono alla base di conoscenza e i dati live agli strumenti.

In AI SmartTalk il prompt di sistema è chiamato biografia dell'assistente. Un modulo guidato aiuta a scriverlo — identità, stile di comunicazione e regole, con un tono amichevole, professionale, neutro o personalizzato — e le versioni precedenti vengono mantenute in modo che una modifica possa essere confrontata o annullata. Le regole decisionali e la politica di passaggio sono impostate separatamente, e politiche integrate come rispondere nella lingua del visitatore sono aggiunte dalla piattaforma.