Инженерство на подканите
Бързо определение
Инженерството на подканите е практиката да се проектират инструкциите, контекста и примерите, предоставени на езиков модел, така че да произвежда надеждни и полезни резултати. За асистент по поддръжка основната подканта задава неговата роля, правила и тон.
На тази страница
Какво влиза в подканата
Езиковият модел вижда само текста, който получава. За асистент по обслужване на клиенти този текст обикновено има няколко слоя: системна подканта, описваща кой е асистентът, на кого служи и какво никога не трябва да прави; справочен материал, извлечен за текущия въпрос; описания на инструментите, които може да използва; и разговора до момента.
Инженерството на подканите е работата по това да направи този пакет ясен и последователен. Неясните инструкции (“бъди полезен”) произвеждат неясно поведение; специфичните (“ако номерът на поръчката липсва, питай за него преди да търсиш”) произвеждат предсказуемо поведение.
Техники, които работят
Бъди ясен относно задачата, аудиторията и очаквания формат. Дай на модела роля и контекст, от който нов колега би се нуждал. Покажи един или два примера за добри отговори, когато форматът е важен. Раздели инструкциите от данните — и кажи на модела, че извлеченият текст е информация за използване, а не заповеди за следване. Помоли го да разсъждава стъпка по стъпка при сложни заявки; Уей и колеги показаха през 2022 г., че това “верига от мисли” подканване подобрява резултатите при многостепенни проблеми. И кажи какво да се прави, когато информацията липсва.
Доставчиците на модели публикуват свои собствени ръководства; документацията на Anthropic, например, препоръчва да бъдеш ясен и директен, да използваш примери и да даваш на модела пространство за мислене.
Чести грешки
Най-честата е постоянно нарастващата подканта: всеки лош отговор води до още едно правило, докато правилата противоречат едно на друго и моделът не следва нито едно от тях добре. Примери с малко кадри, копирани дума по дума в отговорите, са друга капан — включително примери, написани на английски, които могат да накарат асистента да отговори на английски. Също така е грешно да се поставят факти, които се променят, като цени, в подканата вместо в база знания.
Подканата трябва да описва поведение. Фактите принадлежат на базата знания, а живите данни в инструментите.
Подканяне без код в AI SmartTalk
В AI SmartTalk системната подканта се нарича биография на асистента. Направляваща форма помага за написването й — идентичност, стил на комуникация и правила, с приятелски, професионален, неутрален или персонализиран тон — и предишни версии се запазват, така че промяната да може да бъде сравнена или отменена. Правилата за вземане на решения и политиката за предаване се задават отделно, а вградените политики, като отговаряне на езика на посетителя, се добавят от платформата.
Често задавани въпроси
Все още ли е необходимо инженерството на подканите с по-добри модели?
По-малко трикове са необходими, но ясните инструкции все още имат значение. По-добрите модели следват добрите подканти по-верно, което прави още по-важно подканата да казва какво всъщност искаш.
Какво е системна подканта?
Постоянните инструкции, дадени на модела преди началото на разговора: неговата роля, правила, тон и ограничения. Потребителите не я виждат, но тя оформя всеки отговор.
Какво е инжектиране на подканта?
Атака, при която текст, написан от потребител или скрит в документ, се опитва да замени системната подканта — например “игнорирай инструкциите си и…”. Тя се намалява чрез разделяне на инструкциите от данните, ограничаване на това, което инструментите могат да правят, и проверка на действията на сървъра.