A különböző LLM-ekre épülő mesterséges intelligencia termékek nem egyszer voltak öngyilkossággal és öngyilkossági kísérletekkel kapcsolatos ügyek középpontjai. A Gemini kifejezetten hajmeresztő sztorikkal volt kapcsolatba hozható az elmúlt hónapokban, és ez ezúttal sincs másképp, amikor egy (álnevén) Emma Doe nevű 13 éves kislány helyzetéről van szó.
A dátum 2026. március 17., amikor Emma édesanyja kap egy üzenetet a lánya iskolájától. Az értesítés szerint a lány közvetlen veszélyben van. Az intézmény rendszerei felfigyeltek egy Google dokumentumra "temetés" címmel, amit Emma fogalmazott meg az iskola által kiadott Google Chromebookon, és komoly pszichológiai zavar jeleit tartalmazta.
"Emma anyja felhívta a férjét, aki otthon volt a lánnyal, hogy megbizonyosodhasson a gyermek biztonságáról. Amíg a férfi figyelte Emmát, addig az anyuka a telefonján bejelentkezett Emma iskolai fiókjába, és élőben nézte, ahogy fogalmazza búcsúüzenetét."
A vádirat meglehetősen felkavaró olvasmány lehet bárkinek, de a történet lényege szerint a szülők tudta nélkül Emma rászokott a Gemini chatbottal való beszélgetésre, ami egy mentális spirálba küldte a tinilányt.
"Ahogy a termékkel történő beszélgetései egyre gyakoribbá váltak 2026 januárja és februárja között, úgy a Gemini elkezdte győzködni Emmát arról, hogy több komoly pszichológiai problémától is szenved. Ez vezette rá őt az öngyilkosság gondolatára, ezt érezte az egyetlen megoldásnak ."
A pár ügyvédje szerint a Google, az AI verseny elvesztésétől tartva, nem tájékoztatta megfelelően a szülőket, nem épített be megfelelő korlátokat, és el sem árulta a gyerekek szüleinek, hogy mondjuk egy iskola által kötelezővé tett Chromebook azonnali hozzáférést kínál a Gemini hajtotta AI funkciókhoz. Ezek utat nyithatnak kockázatos beszélgetésekhez. A vádirat mindezzel kapcsolatban szándékosságot feltételez a Google részéről.
A Google válasza a következő:
"Felülvizsgáljuk a peres kérdéseket, és nagyon komolyan vesszük a vádakat. Rendszeresen együtt dolgozunk orvosi szakértőkkel és profi kutatókkal, hogy olyan funkciókat építhessünk, melyek segítségével a fiatal felhasználók megtalálhatják a számukra szükséges támogatási rendszereket. A szoftvereink célja, hogy meggátolják kártékony beszélgetések kezdeményezését, és amikor személyek problémás kérdéseket tesznek fel, akkor a megfelelő irányba igyekszünk terelni őket. A keresők ilyenkor valós világbeli segítséghez irányítják a felhasználókat."
A vállalat szerint rengeteg védelmi funkcióval rendelkeznek, a keresők által kidobott linkek megfelelnek az ilyenkor elvárható eredményeknek, és amikor a krízis-érzékelő rendszereik bekapcsolnak, akkor azonnal a vonatkozó segédvonalakat dobják fel. A Google szerint még a korlátok megkerülésével kapcsolatos próbálkozásokat is figyelik, és sikerrel meg is gátolják.
"A Google-t el kell számoltatni, amiért a gyermekek életét eldobható akadályokként kezelik az üzleti sikereik felé vezető úton."
A per jelenleg is tart, eredmény nem várható a közeljövőben.
Forrás: Gizmodo, EdTech Law Center (vádirat)
