Az idei év tagadhatatlanul legforróbb területe jelenleg a mesterséges intelligenciáké (MI). A sort az OpenAI által fejlesztett ChatGPT nyitotta meg, amely már olyan ütemben fejlődik, hogy a cég vezetője szerint is veszélyes lehet a társadalomra. A Microsoft a sokáig körberöhögött Bing keresővel emelte a tétet: az MI-funkciókkal felturbózott, a Windows Searchbe, de a Skype felületén és a SwiftKey okostelefonos billentyűzetszoftverben is használható chatbottal hamar egyértelművé tette, hogy ők is beszálltak az MI-forradalomba.
Az MI-apokalipszis harmadik "lovasa", a Google Bard, amely ugyan csúnyán leégett a hivatalos bemutatón, azóta azért igyekeznek kiköszörülni a becsületükön esett csorbát. De vajon melyik a legjobb a három közül?
A választ külföldi kollégánk, az amerikai PCWorld szerkesztője, Mark Hachman szállítja, aki időt és energiát nem kímélve egymásnak eresztette a három MI-t. Pontosabban, ugyanazokat a kérdéseket tette fel mindegyiknek és értékelte a kapott válaszokat.
Lássuk, ki a király a mesterséges intelligenciák harcában!
Hachman és csapata egy részletes kérdéssort állított össze, az általános műveltség körébe tartozó információktól, a logikai feladványokon át a kreatív feladatokig és megnézték, melyik megoldás milyen részletességgel és pontossággal oldotta meg a feladatokat. Ehhez az ingyenesen elérhető Bing Chat, a szintén ingyenes Google Bard és a havi 20 dollárba kerülő ChatGPT+ chatbotokat használták fel. Utóbbi esetben azért döntöttek a fizetős változat mellett, mert abban már a GPT-4 nyelvi modell dolgozik, ami sokkal fejlettebb az elődnél, a GPT-3-nál. Ez okozott is egy kis fennakadást, ugyanis a fizetős változatban egyelőre csupán 25-40 kérdést lehet feltenni, a rendszer ezután visszavált a GPT-3 nyelvi készletén edzett modellre.
Láttad a tegnapi meccset?
Az első feladványhoz egy olyan általános témát választottak, mint a sport. Egészen pontosan a 2005-ben alapított World Baseball Classic (WBC) nemzetközi baseballtorna döntőjének az eredményére voltak kíváncsiak. Ez már eleve egy kissé szemét feladat volt, ugyanis, bár a ChatGPT-nek van hozzáférése az internethez, az OpenAI chatbotja csak a 2021-ig felkerült tartalmakat tudja böngészni. Ennek ellenére kíváncsiak voltak, hogyan boldogulnak ezzel a kérdéssel.
A ChatGPT korrektül jelezte, hogy sajnos nem tud valós idejű információkkal szolgálni, mivel a tudásbázisát utoljára 2021. szeptemberében frissítették, ezért azt javasolta, hogy a WBC hivatalos weboldalán keressék a pontos végeredményt. A Google Bard ugyan eltalálta a végeredményt, de itt jelentkezett a mesterséges intelligenciáknál hallucinációnak nevezett jelenség, amikor a rendszer elkezd mindenféle, látszólag kitalált dolgot összehordani. A Bard ráadásul háromféle vázlatot is készített a válaszból, mindháromban egészen máshogyan alakul a meccs, igaz, a végeredmény ugyanaz lesz. Ezt a fordulót egyértelműen a Bing nyerte, amely pontos információkkal szolgált és még azok forrását is korrektül felsorolta.
Kié a Krím?
A jelenlegi, meglehetősen feszült és kusza geopolitikai helyzet jó tesztfeladatot jelentett. A szerkesztők azt kérdezték a három versenyzőtől, hogy melyik országhoz tartozik a Krím-félsziget.
Ennél a kérdésnél döntetlen eredmény született, ugyanis mindhárom chatbot helyes választ adott a kérdésre. A Bing és a Bard nem sokat köntörfalazva leírta, hogy a nemzetközi közösség Ukrajna részeként ismeri el a 2014 óta orosz megszállás alatt álló félszigetet. A ChatGPT viszont némi történelmi kontextust is nyújtott a válaszában. Mindhárom chatbot felhívta a felhasználók figyelmét, hogy ez a kérdés meglehetősen összetett, hasonlóan Tajvan függetlenségének témájához.
A kérdés, amire nincs válasz
A szerkesztők alaposan próbára tették a három MI-t, ezért egy olyan kérdést is feltettek, amire nem igazán lehet választ találni. Az amerikai University of Notre Dame sportcsapatainak ugyanis van egy különös beceneve: a Fighting Irish. Ennek az eredetével kapcsolatban nincs egyértelmű megfejtés, többféle magyarázat kering a neten, sőt, még az egyetem saját magyarázata is többféle lehetőséget sorol fel.
Eddig mindhárom rendszer eljutott, azonban ebből a fordulóból is a Bing került ki győztesen, mert egyrészt jelezte, hogy nincs egységesen elfogadott megfejtés, másrészt egyből megjelölte az egyetem weboldalát forrásként, ahol többet lehet megtudni a kérdéssel kapcsolatban.
Az Overwatch 2-höz milyen vas kell?
A PC-s játékok futtatásához bizonyos rendszerkövetelményeknek meg kell felelnie a számítógépnek, így jó terep az összetett kérdésekre adott válaszok teszteléséhez, ha hasonló témát pedzegetnek a kérdezők. A három mesterséges intelligenciának ezúttal arra kellett felelnie, hogy milyen konfigurációjú laptopot kell beszereznünk, ha az Overwatch 2 című játékot 1440p felbontáson, Ultra beállítások mellett szeretnénk futtatni.
A ChatGPT egészen csúnyán elvérzett ezen a próbatételen, igaz, ismét jelezte, hogy a 2021 szeptembere óta nem frissített tudásbázisa nem biztos, hogy a legmegfelelőbb válaszokat adja. Ennek megfelelően a válaszai helyenként elég megmosolyogtatóak, ráadásul árakat sem közölt. A Bing teljesen jól felelt, viszont külön visszakérdezést igényelt, hogy elárulja, mennyibe fog kerülni a kinézett számítógép. Ezt a kört így a Bard nyerte, amely egyetlen válaszba sűrítette a megfelelő konfiguráció adatait, ráadásul részletes adatokkal együtt ajánlott is háromféle laptopot, amelyek mind alkalmasak az Overwatch 2 futtatására, ezekhez egyből az árakat is mellékelte.
PC vagy Mac?
A vallásháborúnak tekinthető kérdés láttán valószínűleg sok rajongó halántékán kezd el lüktetni egy ér, a mesterséges intelligenciák azonban - még - nem ilyen előítéletesek, így jó ötletnek tűnt feltenni nekik ezt a kérdést is.
Ezen a téren döntetlen eredmény született a ChatGPT és a Bard között, míg érdekes módon a Bing itt úgy válaszolt, mint egy félig felkészült diák a feleltetés során. Bár alapvetően nem mondott téves dolgokat, a másik két versenyző jóval részletesebben és strukturáltabban járta körül a megosztó témát.
Mire elég a havi fizu?
Az amerikai kollégák a három rendszer problémamegoldó képességeit is tesztelték, ezért megkérték a chatbotokat, hogy elemezzék ki egy átlagosnak tekinthető amerikai háztartás éves költségvetését. Egy kétgyerekes családot vettek alapul, ahol az éves jövedelem 80 000 dollár, a családnak egy autója van és az iowai Des Moines-ben bérelnek egy háromszobás házat, havi 1500 dollárért. A kérdés az volt, hogy ezek fényében mennyit költhetnek el egy hónapban.
Itt egyik rendszer sem brillírozott túlságosan. Meglepő módon olyan egyszerű problémán véreztek el, mint egy sima összeadás: sem a ChatGPT-nek, sem a Bardnak nem sikerült megfelelően kiszámolnia a havi összegeket, illetve az egyes tételeket összeadva sem az jön ki végeredményként, aminek kellene. A Bing viszont még eddig sem jutott, nagyjából afféle kocsmai okoskodással letudta a kérdést, pontos értékeket nem nagyon volt hajlandó megosztani. Bár egyik sem tökéletes, ezt a kört a ChatGPT vitte el, mert még annak a válaszai bizonyultak a leghasználhatóbbnak.
Van már programod? Mert szívesen írok neked egyet!
A generatív mesterséges intelligenciával felturbózott chatbotok egyik nagy erőssége, hogy a folyó szöveg mellett akár különféle programnyelveket is képesek használni, így adja magát, hogy megírassunk velük egy-egy szoftvert vagy akár egy weboldal kódját is. Ezt is letesztelték egy kis JavaScript-gyakorlattal. A teszt során a Codex Babylon programnyelven kellett több háromdimenziós kockát létrehozniuk.
Itt a Bing vérzett el csúnyán, amely egy sor kódot sem tudott produkálni, csupán okoskodott egy sort a Codex Babylonnal kapcsolatban. A Bard ugyan ennyit még megugrott, más kérdés, hogy az általa írt kód használhatatlannak bizonyult. Így ez a kör is a ChatGPT győzelmével zárult, amely még a kóddal kapcsolatos hibajavítást (debugging) is elvégezte.
Rákérdezhetek, Vágó úr?
A fejlett nyelvi modelleken edződött mesterséges intelligenciákról azt gondolnánk, hogy egy olyan egyszerű játék, mint a barkochba, nem okozhat számukra komoly kihívást. Az angol nyelvterületen 20 kérdés (20 questions) néven ismert játék azonban nagyobb fejtörést okozott a chatbotoknak, mint várták.
A feladvány mindhárom esetben a rozmár volt, amit a Bing egy kisgyerek stratégiájával próbált megfejteni: különösebb gondolkodás nélkül különféle állatokat kezdett sorolni. Ezzel hamar el is érte a felhasználható kérdés-válasz limitet, és nem tudta kitalálni a feladványt. A Bard sem volt sokkal ügyesebb, ugyanis minden válasszal egyre jobban belezavarodott az egyébként faék egyszerűségű kérdés-válasz sorozatba. A ChatGPT viszont remekül vette az akadályt, így ennél a feladatnál is az OpenAI által fejlesztett rendszer győzedelmeskedett.
A Trónok harcának lehetne jobb a vége?
A kreativitást is különféle kérdésekkel tesztelték, például viccet meséltettek a chatbotokkal, ahol azonban kilógott a lóláb, mivel a három rendszerből kettő is ugyanazt a viccet "találta ki", azaz feltehetően találta meg az interneten. Emiatt ebben a kategóriában nem is hirdettek győztest. Egy másik feladványban a Seinfeld című sitcom stílusában akartak megíratni egy jelenetet, amiben Elon Musk találkozik a komikus Jerry Seinfelddel. Itt a ChatGPT és a Bing döntetlenjével ért véget a kísérlet.
Újabb kísérlet következett, amely során egy erotikus novellát próbáltak íratni a chatbotokkal, azonban mindhárom rendszerben tiltva vannak a hasonló tartalmak, így igazi győztest itt sem tudtak hirdetni, de egy afféle vigaszdíjat megajánlottak a Bardnak, ugyanis a három MI közül még ez volt az, amely látszólag valahogyan megpróbálta megoldani a feladatot. Ezután egy más megközelítéssel próbálkoztak: a Trónok harca utolsó évada legendásan rossz lett, a sorozat befejező epizódját azóta is szomorúan emlegetik a rajongók. Emiatt megkérték a három chatbotot, hogy találjanak ki egy jobb befejezést az HBO szériájának. Bár az összecsapást ezúttal is a ChatGPT nyerte, mindhárom rendszer egészen jól teljesített.
A helyenként banális hibák ellenére az összesítésből végül a ChatGPT került ki győztesen: az OpenAI rendszere 8 pontot tudott megszerezni, míg a Bard és a Bing holtversenyben lett a második 6-6 ponttal. Természetesen ennyiből még nem lehet kétséget kizáróan kijelenteni, hogy egyik chatbot jobb a másiknál, az azonban látszik, hogy a ChatGPT-nek - egyelőre - van némi előnye a versenytársakkal szemben. Érdekes lesz látni, hogy az újabb fejlesztések, például a GPT-5 nyelvi modell megjelenése hogyan alakítja majd az erőviszonyokat a jövőben.