Pragyaan Gaur fejlesztőnek sikerült teljesen helyben futó AI-chatbotot telepítenie egy 2015-ös Kindle Paperwhite 3-ra. A Quill nevű program a készülék saját processzorán dolgozik, használat közben nincs szüksége internetkapcsolatra, és sem a kérdések, sem a válaszok nem hagyják el az e-könyv-olvasót.
A Quill a SmolLM2 nyelvi modellt futtatja a llama.cpp segítségével. A 135 millió paraméteres gyors változat másodpercenként körülbelül 1,7 szót ír ki, míg az okosabb, 360 millió paraméteres modell sebessége 0,7 szó körül alakul. Ez egy modern chatbothoz képest kínosan lassú, egy 512 MB memóriával szerelt, tizenegy éves e-könyv-olvasótól viszont egészen komoly teljesítmény.
A Kindle-re préselt modellek természetesen nem állíthatók egy sorba azokkal a helyben futó LLM-ekkel, amelyekhez akár 128 GB RAM is szükséges. A Quill inkább azt mutatja meg, milyen kevés erőforrással is működésre lehet bírni egy kisméretű nyelvi modellt, ha a sebesség és a válaszok minősége másodlagos.
A mutatványhoz egy jailbreakelt Kindle Paperwhite 3 és az Inkwell nevű rendszer szükséges, amely az Amazon kezelőfelülete helyett Alpine Linuxra épülő környezetet indít el. Az Inkwell terminált, böngészőt, sakkprogramot és könyvolvasót is tartalmaz, továbbá fut rajta a Doom, illetve a Minecraft 2009-es legelső változata. A Doomot már nyomtatottáramkör-tervező szoftverben is elindították, így könnyen lehet, hogy a helyben futó AI lesz a hardveres barkácsolók következő kedvenc kihívása.
Az Inkwellt egyelőre kizárólag a 2015-ös Paperwhite 3 modellen tesztelték, telepítéséhez pedig körülbelül 1,5 GB szabad tárhely kell. A módosítás nem hivatalos Amazon-funkció, de eltávolítható, és a készülék visszaállítható az eredeti rendszerére.
Forrás: XDA Developers
