Een AI-model draaien op Xbox 360: geweldig 👾

De X-gebruiker (voorheen Twitter) Andrei David heeft zojuist een AI-model gebaseerd op Andrej Karpathy's llama2.c geïnstalleerd en uitgevoerd op een Xbox 360-console die bijna 20 jaar oud is. Ondanks de leeftijd gebruikte David een bootloader om het model op de oude console te laden en een 'Sleep Joe said'-prompt uit te voeren. Volgens het bericht is de succesvolle poging van EXO Lab om Llama op een pc te laten werken met Windows 98 inspireerde David om zijn eigen experiment uit te voeren. 🚀

Hoewel de AI LLM die door de Xbox 360 wordt gebruikt, gebaseerd is op dezelfde als die in de Pentium II pc van EXO Lab, gaf David aan dat hij de code moest optimaliseren voor de PowerPC-architectuur van de console en de unieke beheereigenschappen daarvan. uit het hart (die destijds innovatief waren). Het belangrijkste verschil is dat PowerPC een big-endian-architectuur is, waarbij de meest significante waarde eerst wordt opgeslagen. 🖥️

Aan de andere kant, de Intel-processor De Pentium II die in de implementatie van EXO Lab wordt gebruikt, is little-endian, wat betekent dat de kleinste waarde eerst wordt opgeslagen. Om ervoor te zorgen dat het model goed werkte, moesten ze dus een byte-swapping-systeem en ervoor zorgen dat alle gegevens aangemaakt en opgeslagen hadden een juiste geheugenuitlijning van 128 bytes, zoals vereist door het geheugensubsysteem van de Xbox 360. ⚙️

Een andere uitdaging waar David mee te maken kreeg, was het gebruik van verenigd geheugen van de console. Hoewel dit tegenwoordig gebruikelijk is op moderne consoles en APU's, was het ten tijde van de lancering van de Xbox 360 nieuw terrein, waardoor ontwikkelaars gedwongen werden games om hardwaregebruik te optimaliseren van de console. Ondanks dat hij 512 MB RAM had, moest Andrei ervoor zorgen dat het 60 MB-model zou passen in de ruimte die het systeem zou toewijzen aan de CPU of GPU, omdat ze dezelfde RAM-pool deelden. 🕹️

Met zorgvuldig geheugenbeheer en aanpassingen aan de werking van de PowerPC slaagde hij er echter in om de oude Xbox 360-console ejecutara el LLM. Este es otro paso hacia el objetivo de EXO Lab de brindar acceso a la IA a las personas comunes, sin limitarla a mega corporaciones que gastan miles de millones de dólares en equipos de última generación y consumen megavatios de energía. 🌟

Het uitvoeren van een model voor kunstmatige intelligentie (AI) op basis van Llama 2 op een apparaat dat al tientallen jaren oud is, is ongetwijfeld een indrukwekkende prestatie die de evolutie en aanpasbaarheid van de technologie aantoont. technologieEchter, in een interessante online discussie maakte een gebruiker een opmerking die de aandacht trok: hij beweerde dat 512 MB unified RAM meer dan genoeg zou moeten zijn om kleinere, efficiëntere modellen te draaien, zoals Hugging Face's SmolLM of het Qwen2.5-model, dat op 4 bits werkt en 0,5 B groot is.

Deze opmerking benadrukt niet alleen het potentieel van lichtere AI-modellen, maar roept ook intrigerende vragen op over het vermogen van oudere apparaten om hiermee om te gaan. technologieën AI-fanaat Andrei David reageerde enthousiast met 'Uitdaging geaccepteerd! :)', wat aangeeft dat hij bereid is om deze technologieën te onderzoeken en ermee te experimenteren. technologieën op platforms die op het eerste gezicht misschien niet geschikt lijken.

Het idee om krachtige modellen van kunstmatige intelligentie te zien draaien op een Xbox 360, een console videogames Het werd gelanceerd in 2005, is spannend en belooft nieuwe mogelijkheden te openen. Dit soort experimenten zou niet alleen oudere apparaten nieuw leven kunnen inblazen, maar ook de techwereld kunnen inspireren om innovatieve manieren te vinden om optimaliseren AI-modellen die op hardware met beperkte middelen kunnen draaien.

We kijken uit naar de voortgang en de resultaten van deze tests, omdat ze de weg kunnen vrijmaken voor een toekomst waarin kunstmatige intelligentie Toegankelijk en functioneel zijn op verschillende apparaten, ongeacht hun leeftijd of technische beperkingen. De combinatie van de creativiteit van ontwikkelaars en de veelzijdigheid van de modellen van AI kan leiden tot fascinerende ontdekkingen en onverwachte toepassingen. 👀