Executando um modelo de IA no Xbox 360: incrível 👾

O usuário X (anteriormente Twitter) Andrey David acabei de instalar e executar um modelo de IA baseado no llama2.c de Andrej Karpathy em um console Xbox 360 com quase 20 anos. Apesar da idade, David usou um bootloader para carregar o modelo no console antigo e executar um prompt ‘Sleep Joe disse’. De acordo com a postagem, a tentativa bem-sucedida do EXO Lab de fazer o Llama rodar em um PC com Windows 98 inspirou David a realizar sua própria experiência. 🚀

Embora o AI LLM usado pelo Xbox 360 seja baseado no mesmo usado pelo Pentium II PC do EXO Lab, David mencionou que teve que otimizar o código para a arquitetura PowerPC do console e seus recursos exclusivos de gerenciamento. memória (que eram inovadores na época). A diferença mais significativa é que o PowerPC é uma arquitetura big-endian, que armazena primeiro o valor mais significativo. 🖥️

Por outro lado, o Processador Intel O Pentium II usado na implementação do EXO Lab é little-endian, o que significa que ele prioriza o armazenamento do menor valor primeiro. Então, para garantir que o modelo funcionasse corretamente, ele teve que implementar um sistema de troca de bytes e garantir que quaisquer dados criado e armazenado tinha um alinhamento de memória adequado de 128 bytes, conforme exigido pelo subsistema de memória do Xbox 360 ⚙️.

Outro desafio que David enfrentou foi o uso de memória unificada do console. Embora isso seja comum hoje em dia em consoles e APUs modernos, na época do lançamento do Xbox 360 era um território novo, forçando os desenvolvedores a jogos para otimizar o uso de hardware do console. Apesar de ter 512 MB de RAM, Andrei teve que garantir que o modelo de 60 MB cabesse no espaço que o sistema alocaria para o CPU ou GPU, já que eles compartilhavam o mesmo pool de RAM. 🕹️

No entanto, com um cuidadoso gerenciamento de memória e ajustes no funcionamento do PowerPC, ele conseguiu tornar o antigo Consola Xbox360 executará o LLM. Este é mais um passo em direção ao objetivo do EXO Lab de dar às pessoas acesso à IA comum, sem se limitar às megacorporações que gastam milhares de milhões de dólares em equipamentos de última geração e consomem megawatts de energia. 🌟

Rodar um modelo de inteligência artificial (IA) baseado no Llama 2 em um dispositivo com várias décadas já é, sem dúvida, um feito impressionante que demonstra a evolução e adaptabilidade do tecnologia. No entanto, em uma interessante troca online, um usuário fez um comentário que chamou a atenção: ele argumentou que ter 512 MB de RAM unificada deveria ser mais que suficiente para rodar modelos menores e mais eficientes, como o SmolLM da Hugging Face ou o Qwen2.5, que opera a 4 bits e tem um tamanho de 0,5B.

Este comentário não só destaca o potencial dos modelos de IA mais leves, mas também levanta questões intrigantes sobre a capacidade dos dispositivos mais antigos de lidar com tecnologias avançado. Andrei David, um entusiasta da IA, respondeu com entusiasmo com um 'Desafio aceito! :)', o que sugere que você está disposto a explorar e experimentar estes tecnologias em plataformas que, à primeira vista, podem parecer inadequadas.

A ideia de ver modelos poderosos de inteligência artificial rodando em um Xbox 360, um console da jogos de vídeo Lançado em 2005, é emocionante e promete abrir novas possibilidades. Este tipo de experimentação não só poderia revitalizar dispositivos antigos, como também poderia inspirar a comunidade tecnológica a encontrar formas inovadoras de otimizar Modelos de IA para execução em hardware com recursos limitados.

Aguardamos com grande interesse o progresso e os resultados destes testes, pois poderão abrir caminho para um futuro onde inteligência artificial ser acessível e funcional em uma variedade de dispositivos, independentemente de sua idade ou limitações técnicas. A combinação da criatividade dos desenvolvedores e a versatilidade dos modelos de IA poderia levar a descobertas fascinantes e aplicações inesperadas. 👀