Eseguire un modello AI su Xbox 360: incredibile 👾

L'utente X (ex Twitter) Andrej David ho appena installato ed eseguito un modello di intelligenza artificiale basato su llama2.c di Andrej Karpathy su una console Xbox 360 che ha quasi 20 anni. Nonostante l'età, David ha utilizzato un bootloader per caricare il modello nella vecchia console ed eseguire il messaggio "Sleep Joe ha detto". Secondo il post, il tentativo riuscito di EXO Lab di far funzionare Llama su un PC con Finestre 98 ha ispirato David a realizzare la propria esperienza. 🚀

Sebbene l'AI LLM utilizzato da Xbox 360 sia basato sullo stesso utilizzato dal PC Pentium II di EXO Lab, David ha detto che doveva ottimizzare il codice per l'architettura PowerPC della console e le sue caratteristiche di gestione uniche. memoria (che all'epoca erano innovativi). La differenza più significativa è che PowerPC è un'architettura big-endian, che memorizza per prima il valore più significativo. 🖥️

D'altra parte, il Processore Intel Il Pentium II utilizzato nell'implementazione EXO Lab è little-endian, il che significa che dà priorità alla memorizzazione del valore più piccolo per primo. Quindi, per garantire che il modello funzionasse correttamente, ha dovuto implementare a sistema di scambio di byte e garantire che tutti i dati creato e archiviato aveva un corretto allineamento della memoria di 128 byte, come richiesto dal sottosistema di memoria di Xbox 360 ⚙️

Un'altra sfida che David ha dovuto affrontare è stata l'utilizzo di memoria unificata dalla consolle. Sebbene questo sia comune oggi sulle console e sulle APU moderne, al momento del rilascio di Xbox 360 era un territorio nuovo, costringendo gli sviluppatori a giochi per ottimizzare l'uso dell'hardware dalla consolle. Nonostante avesse 512 MB di RAM, Andrei doveva assicurarsi che il modello da 60 MB rientrasse nello spazio che il sistema avrebbe allocato al CPU o GPU, poiché condividevano lo stesso pool di RAM. 🕹️

Tuttavia, con un'attenta gestione della memoria e aggiustamenti al funzionamento di PowerPC, è riuscito a ripristinare il vecchio Consolle Xbox 360 eseguirà il LLM. Questo è un altro passo verso l'obiettivo di EXO Lab di dare alle persone l'accesso all'intelligenza artificiale comune, senza limitarlo alle mega multinazionali che spendono miliardi di dollari in apparecchiature all’avanguardia e consumano megawatt di energia. 🌟

Eseguire un modello di intelligenza artificiale (AI) basato su Llama 2 su un dispositivo vecchio di diversi decenni è già, senza dubbio, un'impresa impressionante che dimostra l'evoluzione e l'adattabilità del tecnologia. Tuttavia, in un interessante scambio online, un utente ha fatto un commento interessante: ha sostenuto che avere 512 MB di RAM unificata dovrebbe essere più che sufficiente per far funzionare modelli più piccoli ed efficienti, come SmolLM di Hugging Face o Qwen2.5, che funziona a 4 bit e ha una dimensione di 0,5B.

Questo commento non solo evidenzia il potenziale dei modelli di intelligenza artificiale più leggeri, ma solleva anche domande interessanti sulla capacità di gestione dei dispositivi più vecchi tecnologie avanzato. Andrei David, un appassionato di intelligenza artificiale, ha risposto con entusiasmo con una "Sfida accettata!" :)', il che suggerisce che sei disposto a esplorarli e sperimentarli tecnologie su piattaforme che, a prima vista, potrebbero sembrare inappropriate.

L'idea di vedere potenti modelli di intelligenza artificiale in esecuzione su una Xbox 360, una console di videogiochi Lanciato nel 2005, è entusiasmante e promette di aprire nuove possibilità. Questo tipo di sperimentazione non solo potrebbe rivitalizzare i vecchi dispositivi, ma potrebbe anche ispirare la comunità tecnologica a trovare modi innovativi per ottimizzare Modelli di intelligenza artificiale da eseguire su hardware con risorse limitate.

Attendiamo con grande interesse i progressi e i risultati di questi test, poiché potrebbero aprire la strada a un futuro in cui intelligenza artificiale essere accessibili e funzionali su una varietà di dispositivi, indipendentemente dalla loro età o dalle limitazioni tecniche. La combinazione della creatività degli sviluppatori e della versatilità dei modelli dell'IA potrebbe portare a scoperte affascinanti e applicazioni inaspettate. 👀