Új videós mesterséges intelligenciát mutatott be a Netflix. A fejlesztés nem azért érdekes, mert szövegből gyárt új jeleneteket, itt még nem szaladna feltétlen a magasba 2026-ban az ember szemöldöke, hanem azért, mert meglévő felvételekbe tud belenyúlni úgy, hogy közben a fizikai következményeket is megpróbálja helyesen újraalkotni. A rendszer neve VOID, ami a Video Object and Interaction Deletion rövidítése, és a lényege az, hogy egy tárgy vagy ember eltüntetése után ne csak a helyét töltse ki, hanem azt is kezelje, mi változik meg körülötte a jelenetben.
Ez a gyakorlatban azt jelenti, hogy ha valakit kivesznek egy videóból, a rendszer nem áll meg ott, hogy eltünteti az alakját, az árnyékát vagy a tükröződését. A Netflix hivatalos leírása szerint a VOID azokat a fizikai hatásokat is próbálja újragenerálni, amelyeket az eltávolított szereplő okozott, például ha valaki tartott egy tárgyat, akkor annak a tárgynak a viselkedését is átírja, hogy a végeredmény ne legyen látványosan hamis.
A rendszer mögött egy háromlépcsős folyamat áll. Először egy látásra és nyelvre épülő modell azonosítja, mely részeket érinti az eltávolított objektum hiánya, aztán ezekből létrejön egy úgynevezett quadmask, vagyis egy olyan területi jelölés, amely nem csak az eredeti objektumot, hanem a körülötte megváltozó mozgásokat és vizuális hatásokat is figyelembe veszi. Ezután egy videódiffúziós modell újragenerálja a jelenetet, majd egy második körben tovább finomítja a mozgást és a formákat, hogy a kép stabilabb és természetesebb legyen.
A Netflix szerint a VOID-ot szintetikus, ellenpéldás videókon tanították be, vagyis olyan jeleneteken, ahol a rendszer azt tanulta meg, hogyan változna meg egy szituáció, ha egy szereplő vagy tárgy egyszerűen eltűnne belőle. Ettől tud különbséget tenni aközött, hogy valamit csak ki kell radírozni a háttérből, vagy a teljes jelenet logikáját is hozzá kell igazítani a változáshoz.
A technológia egyelőre még nem ott tart, hogy egész hosszú jeleneteket gond nélkül átírjon, de a demók alapján már most is elég látványos, amit tud. A Netflix ráadásul nyíltan elérhetővé is tette a modellt Hugging Face-en és GitHubon, vagyis nem csak saját belsős eszközként kezeli. Ez önmagában még nem jelenti azt, hogy holnaptól minden vágószobában ez fut majd, de az biztos, hogy a VOID már most többet akar annál, mint amit a sima objektumtörlő megoldások eddig tudtak.
Semmi spam, csak napi 2-3 értesítés Viberen, hogy képben maradj a játék- és filmvilág, a geek kultúra legérdekesebb híreivel.
