Sok helyen még mindig alaptrükként adják tovább, hogy ha azt írod az AI-nak, "viselkedj úgy, mint egy szakértő", akkor jobb választ kapsz. Jól hangzik, csak közben nem ennyire egyszerű. Egy friss kutatás szerint az ilyen expert persona promptok tényleg tudnak javítani a hangnemen, a stíluson és azon, mennyire tűnik "rendesnek" vagy szabálykövetőnek a válasz, de közben bizonyos feladatoknál rontják a tényszerű pontosságot. A március 19-én felkerült arXiv-tanulmány címe egyébként ezt elég nyersen ki is mondja: az expert personas javítják az alignmentet, de kárt okoznak a pontosságnak.
A fontos pontosítás az, hogy a kutatás nem a University of Californiáról, hanem a University of Southern California csapatáról szól. A szerzők Zizhao Hu, Mohammad Rostami és Jesse Thomason, a vizsgálatban pedig azt nézték meg, hogyan hatnak az ilyen "játszd el, hogy szakértő vagy" típusú promptok különböző modellekre és különböző feladatokra. A tanulmány szerint azt találták, hogy a persona prompting haszna erősen attól függ, milyen feladatra használod a modellt.
A lényeg röviden az, hogy amikor az AI-t expert szerepbe tolod, akkor hajlamosabb lesz arra, hogy inkább "utasításkövető" üzemmódba kapcsoljon, nem pedig arra, hogy a lehető legpontosabban előhívja a tudását. Ez azt jelenti, hogy írásnál, stílusnál, biztonsági vagy emberközeli feladatoknál javulhat az eredmény, de nyers tudásra épülő kérdéseknél, például tényeknél, kódolásnál vagy matematikánál könnyen rosszabbul teljesíthet. Vagyis a modell meggyőzőbben hangzik, csak nem feltétlenül lesz igaza.
A kutatók erre próbáltak kitalálni egy kerülőutat, és ebből lett a PRISM nevű megoldás. A rendszer lényege, hogy ne mindig erőltesse a personát, hanem próbálja eldönteni, mikor éri meg használni, és mikor jobb nélküle válaszolni. A tanulmány leírása szerint a PRISM egy intentalapú, önmodellező routingmegoldás, amely egy LoRA adapterrel, külső adatok vagy külön modellek nélkül próbálja megtartani a personaelőnyöket ott, ahol számítanak, miközben védi a pontosságot az olyan feladatoknál, ahol a szerepjáték inkább ártana.
Ez elsőre technikai finomkodásnak tűnhet, de valójában nagyon is gyakorlati következménye van. Az internet tele van olyan prompttanácsokkal, amelyek azt sugallják, hogy elég okosan "felöltöztetni" a modellt, és máris jobb lesz mindenben. A mostani kutatás pont azt mondja, hogy ez nem univerzális varázsige. Ha azt akarod, hogy az AI szépen, jól strukturáltan, a kívánt stílusban válaszoljon, a persona segíthet. Ha viszont azt akarod, hogy a lehető legpontosabban emlékezzen vissza vagy oldjon meg tudásalapú feladatot, akkor simán lehet, hogy inkább rontasz vele.
A tanulság így elég egyszerű. Az AI-t nem attól teszed okosabbá, hogy rbeírod, hogy "te most egy világszintű szakértő vagy". Attól legfeljebb magabiztosabb, simább és néha félrevezetőbb lesz. A jobb prompt nem feltétlenül a nagyobb szerepjáték, hanem a pontosabb feladatleírás, a tiszta kontextus és annak felismerése, hogy melyik helyzetben mire jó valójában az AI. És ez talán hasznosabb tanulság, mint bármelyik újabb mágikus promptrecept.
