የAI ግንባር
አጭር ትርጉም
የAI ግንባር የቴክኖሎጂ እና የፖሊሲ መቆጣጠሪያዎች የAI ስርዓት ወደ ውስጥ ይወስዳል፡፡ ይህ የሚያወቅ ይረዳል፡፡ ይህ ይወስዳል፡፡ ይህ ይወስዳል፡፡ ይህ ይወስዳል፡፡
በዚህ ገጽ
ለምን ግርግር ያስፈልጋል
የቋንቋ ሞዴል ማንኛውንም ነገር፣ በማንኛውም ቃና፣ ለማንኛውም ሰው ለመመለስ ይሞክራል። ለንግድ ረዳት ይህ ስጋት ነው፦ ከርዕሱ ሊወጣ፣ የመስጠት ሥልጣን የሌለውን ገንዘብ ተመላሽ ቃል ሊገባ፣ የሌላ ደንበኛን ውሂብ ሊገልጽ፣ በድረ-ገጽ ውስጥ የተተከሉ መመሪያዎችን ሊከተል ወይም ሲቆሰቆስ አጸያፊ ይዘት ሊያመነጭ ይችላል።
ለLLM መተግበሪያዎች የOWASP Top 10 ዋና ዋና ስጋቶችን ይዘረዝራል፤ ከእነዚህም መካከል prompt injection፣ ሚስጥራዊ መረጃን መግለጽ፣ ከመጠን ያለፈ ሥልጣን (ከሚገባው በላይ እንዲሠራ የተፈቀደለት ወኪል) እና የተሳሳተ መረጃ ይገኙበታል። የNIST Generative AI Profile (AI 600-1) ተመሳሳይ ጉዳዮችን ከስጋት አስተዳደር አንጻር ያቀርባል።
ዋነኛ የግርግር አይነቶች
የግቤት ቁጥጥሮች ወደ ሞዴሉ የሚደርሰውን ያጣራሉ፦ የስድብ መልእክቶችን መቆጣጠር፣ የስፓም ገደቦች፣ ሚስጥራዊ ውሂብን መለየት። የመመሪያ ደረጃ ቁጥጥሮች ወሰንና ባህሪን ይገልጻሉ፦ የረዳቱ ሚና፣ ውድቅ የሚደረጉ ርዕሶች፣ ያለ ማስረጃ ሊገባቸው የማይችሉ ቃሎች። የመሣሪያ ደረጃ ቁጥጥሮች ወኪሉ ሊያደርገው የሚችለውን ይገድባሉ፦ የንባብ ብቻ መዳረሻ፣ በገባው ደንበኛ የራሱ መዝገቦች ብቻ የተገደቡ እርምጃዎች፣ ሊቀለበስ ከማይችል ማንኛውም ነገር በፊት ማረጋገጫ። የውጤት ቁጥጥሮች መልሱ ከመላኩ በፊት ይፈትሹታል።
በጣም ጠንካራዎቹ የጥበቃ ገደቦች የሚተገበሩት በፕሮምፕቱ ሳይሆን በኮድ ነው። “ለደንበኛው የራሱን ትዕዛዞች ብቻ አሳይ” የሚለው የትዕዛዝ መሣሪያው ራሱ በተረጋገጠው ደንበኛ ሲያጣራ አስተማማኝ ነው፤ በመመሪያዎቹ ውስጥ ያለ አንድ ዓረፍተ ነገር ብቻ ሲሆን ግን ደካማ ነው።
የግርግር አይነቶች የሚያሳይ ይቅርታ
ሁለት የውድቀት ዓይነቶች የተለመዱ ናቸው። ከመጠን ያለፈ ማገድ፦ ምክንያታዊ ጥያቄዎችን እስኪከለክል ድረስ የተገደበ ረዳት፣ ይህም ልክ እንደ የተሳሳተ መልስ ደንበኞችን ያርቃል። በፕሮምፕት ብቻ የተመሠረቱ ደንቦች፦ ቁርጠኛ ተጠቃሚ ሞዴሉን አሳምኖ ሊያስወጣበት የሚችል በሥርዓት ፕሮምፕቱ ውስጥ የተጻፉ ገደቦች።
የጥበቃ ገደቦች ክትትልም ያስፈልጋቸዋል። የቁጥጥር ምዝግብ ማስታወሻዎች፣ ውድቅ የተደረጉ ጥያቄዎች እና ማሸጋገሪያዎች ገደቦቹ በትክክለኛው ቦታ ላይ መሆናቸውን ያሳያሉ።
በAI SmartTalk ውስጥ የግርግር አይነቶች
AI SmartTalk በርካታ ንብርብሮችን ያጣምራል። አብሮ የተሠሩ ፖሊሲዎች ረዳቱን በሚናው ላይ ያቆያሉ፣ ከርዕስ ውጭ የሆኑ ጥያቄዎችንና የተጠየቀ ሥልጣንን ውድቅ ያደርጋሉ፣ የተገኘውን ጽሑፍ እንደ መመሪያ ሳይሆን እንደ ውሂብ ይመለከታሉ፣ እና ከቃል ኪዳን በፊት ማስረጃ ይጠይቃሉ። የትዕዛዝ መሣሪያዎች ከኢሜይል ማረጋገጫ ኮድ በኋላ የገባውን ደንበኛ የራሱን ትዕዛዞች ብቻ ይመልሳሉ። ዘና ያለ፣ መካከለኛ ወይም ጥብቅ ቅድመ-ቅንብሮች ያሉት አማራጭ ቁጥጥር የስድብ መልእክቶችን ያጣራል እና የኦዲት ምዝግብ ይይዛል፤ የስፓም ገደቦችና እገዳዎችም ቻናሎቹን ይጠብቃሉ። ረዳቱ ማቆም ሲኖርበት ውይይቱን ለቡድኑ ያስተላልፋል።
የተደገፉ ጥያቄዎች
የግርግር አይነቶች እንደ ይዘት መቆጣጠሪያ ናቸው?
የመቆጣጠሪያ አንዱ የግርግር አይነት ነው። የአደገኛ ይዘትን ይገደባል፤ ግን ግርግር ይወክላል ወይም የተወሰነ ወይም የተወሰነ የሚያሳይ ይቅርታ፣ የተገናኝ የመመሪያዎች ይገልጻሉ።
የጥበቃ ገደቦች (guardrails) prompt injectionን ማስቆም ይችላሉ?
እያንዳንዱን ሙከራ ከመከላከል ይልቅ ተጽዕኖውን ይቀንሳሉ። መመሪያዎችን ከውሂብ መለየት፣ የመሣሪያ ፈቃዶችን መገደብ እና እርምጃዎችን በኮድ ማረጋገጥ የተሳካ injection እንኳ ብዙ ጉዳት እንዳያደርስ ያደርጋሉ።
የጥበቃ ገደቦች (guardrails) የAI ረዳትን ጠቀሜታ ይቀንሳሉ?
በአግባቡ ያልተስተካከሉት ይቀንሳሉ። ጥሩ የጥበቃ ገደቦች ጠባብ ናቸው፦ በእውነት አደገኛ የሆነውን ያግዳሉ እና ረዳቱ በሌላው ሁሉ ላይ በነጻነት እንዲረዳ ይተዉታል።