Att köra en AI-modell på Xbox 360: Fantastiskt 👾

X-användaren (tidigare Twitter) Andrei David har precis installerat och kört en AI-modell baserad på Andrej Karpathys llama2.c på en Xbox 360-konsol som är nästan 20 år gammal. Trots sin ålder använde David en bootloader för att ladda modellen till den gamla konsolen och köra en "Sleep Joe said"-prompt. Enligt inlägget lyckades EXO Labs försök att få Llama att fungera på en PC med Windows 98 inspirerade David att genomföra sitt eget experiment. 🚀

Även om AI LLM som används av Xbox 360 är baserad på samma som den i EXO Labs Pentium II PC, nämnde David att han var tvungen att optimera koden för konsolens PowerPC-arkitektur och dess unika hanteringsegenskaper. utantill (som var innovativa på den tiden). Den största skillnaden är att PowerPC är en big-endian-arkitektur, som lagrar det viktigaste värdet först. 🖥️

Å andra sidan, den Intel-processor Pentium II som används i EXO Labs implementering är little-endian, vilket innebär att den prioriterar att lagra det minsta värdet först. Så för att säkerställa att modellen fungerade korrekt var de tvungna att implementera en byteväxlingssystem och säkerställa att all data skapades och lagrades hade en korrekt minnesinställning på 128 byte, vilket krävs av Xbox 360:s minnesundersystem. ⚙️

En annan utmaning som David mötte var användningen av enhetligt minne av konsolen. Även om detta är vanligt idag på moderna konsoler och APU:er, var det vid tidpunkten för Xbox 360:s lansering ny mark, vilket tvingade utvecklare att spel för att optimera hårdvaruanvändningen av konsolen. Trots att han hade 512 MB RAM var Andrei tvungen att se till att 60 MB-modellen skulle få plats i det utrymme som systemet skulle tilldela CPU eller GPU, eftersom de delade samma RAM-pool. 🕹️

Men med noggrann minneshantering och justeringar av hur PowerPC fungerar lyckades han göra den gamla Xbox 360-konsol ejecutara el LLM. Este es otro paso hacia el objetivo de EXO Lab de brindar acceso a la IA a las personas comunes, sin limitarla a mega corporaciones que gastan miles de millones de dólares en equipos de última generación y consumen megavatios de energía. 🌟

Att köra en modell för artificiell intelligens (AI) baserad på Llama 2 på en enhet som är flera decennier gammal är utan tvekan en imponerande bedrift som visar på teknikens utveckling och anpassningsförmåga. teknologiI ett intressant onlineutbyte lämnade dock en användare en kommentar som väckte viss uppmärksamhet: han menade att 512 MB enhetligt RAM-minne borde vara mer än tillräckligt för att köra mindre, effektivare modeller, som Hugging Faces SmolLM eller Qwen2.5-modellen, som arbetar med 4 bitar och är 0,5 MB stor.

Denna kommentar belyser inte bara potentialen hos lättare AI-modeller, utan väcker också spännande frågor om äldre enheters förmåga att hantera teknologier AI-entusiasten Andrei David svarade entusiastiskt med ett "Utmaning accepterad! :)", vilket antyder att han är villig att utforska och experimentera med dessa tekniker. teknologier på plattformar som vid första anblicken kan verka olämpliga.

Idén att se kraftfulla modeller av artificiell intelligens köras på en Xbox 360, en konsol videospel Den lanserades 2005, är spännande och lovar att öppna upp nya möjligheter. Den här typen av experiment kan inte bara återuppliva äldre enheter, utan också inspirera teknikvärlden att hitta innovativa sätt att... optimera AI-modeller för att köras på resursbegränsad hårdvara.

Vi ser fram emot framstegen och resultaten av dessa tester, eftersom de kan bana väg för en framtid där artificiell intelligens vara tillgängliga och funktionella på en mängd olika enheter, oavsett deras ålder eller tekniska begränsningar. Kombinationen av utvecklarnas kreativitet och modellernas mångsidighet av AI kan leda till fascinerande upptäckter och oväntade tillämpningar. 👀