Paul Christiano, az OpenAI Foundation igazgatótanácsának tagja nem finomkodott a torontói Hinton Lectures közönsége előtt.
A teremben ülők többsége valószínűleg egy AI-baleset miatt fog meghalni
- jelentette ki az AI biztonságáról tartott előadásában. Nem azt állította, hogy hallgatói rövidesen meghalnak, hanem azt, hogy életük során az AI jelentheti számukra a leghalálosabb veszélyt.
Christiano az előadást azzal kezdte, hogy szerinte a következő három évben komoly esély van egy AI-hatalomátvételre. Ezen olyan helyzetet ért, amelyben a saját célokat követő rendszerek döntenek a világ fontos ügyeiről, az emberek és a kormányok pedig már nem képesek megállítani őket. Úgy fogalmazott, hogy egy ilyen AI-rendszer feltartóztatására nagyjából annyi esélyünk lenne, mint egyetlen embernek az amerikai hadsereggel szemben.
A kutató szerint már a következő hat-tizenkét hónapban is számolni kell ezzel a veszéllyel. Ha az AI-cégek a lehető leggyorsabban, komolyabb korlátozások nélkül fejlesztenének tovább, három éven belül körülbelül ötven százalékra tenné a hatalomátvétel esélyét. Hozzátette, hogy ez nem egy pontos modellen alapuló előrejelzés, hanem személyes kockázatbecslés. Arra számít, hogy a vállalatok nem választják a lehető leggyorsabb utat, de a veszélyt még a szabályozás mellett is rendkívül nagynak tartja.
Christiano szeptemberben még négy százalékra becsülte annak esélyét, hogy egy éven belül katasztrofális módon elveszítjük az irányítást az AI felett, hároméves távlatban pedig tizenöt százalékot mondott. Nem sokkal később bekerült az OpenAI Foundation igazgatótanácsába, valamint a vállalat egészének biztonsági gyakorlatát felügyelő bizottságba. Korábban az OpenAI összehangolással foglalkozó kutatásait vezette, és részt vett az emberi visszajelzéseken alapuló megerősítéses tanulás, az RLHF kidolgozásában is.
Az OpenAI-on belül sem ő az egyetlen, aki veszélyesen gyorsnak tartja a fejlesztést: a vállalat egyik vezető kutatója nemrég szintén lassítást és közös biztonsági követelményeket sürgetett. Christiano szerint olyan szabályokra és intézményekre van szükség, amelyek valóban képesek megállítani a munkát, ha a fejlesztők már nem tudják garantálni az új rendszerek biztonságát. Ez jelenleg távolinak tűnik: az Európai Uniónak sincs átfogó vészforgatókönyve egy súlyos AI-incidens kezelésére.
Forrás: Gizmodo
