El usuario de X (anteriormente Twitter) Andrei David acaba de instalar y ejecutar un modelo de IA basado en el llama2.c de Andrej Karpathy en una consola Xbox 360 que tiene casi 20 años. A pesar de su antigüedad, David utilizó un bootloader para cargar el modelo en la vieja consola y ejecutar un prompt de ‘Sleep Joe said’. Según el post, el intento exitoso de EXO Lab de hacer funcionar Llama en una PC con Windows 98 inspiró a David a realizar su propia experiencia. 🚀

Aunque el LLM de IA que utilizó la Xbox 360 se basa en el mismo que el de la PC Pentium II de EXO Lab, David mencionó que tuvo que optimizar el código para la arquitectura PowerPC de la consola y sus características únicas de gestión de memoria (que eran innovadoras en esa época). La diferencia más significativa es que PowerPC es una arquitectura big-endian, que primero almacena el valor más significativo. 🖥️

Por otro lado, el procesador Intel Pentium II utilizado en la implementación de EXO Lab es little-endian, lo que significa que prioriza almacenar el valor más pequeño primero. Entonces, para asegurar que el modelo funcionara correctamente, tuvo que implementar un sistema de intercambio de bytes y garantizar que cualquier dato creado y almacenado tuviera una alineación de memoria adecuada de 128 bytes, como lo exige el subsistema de memoria de la Xbox 360. ⚙️

Otro desafío que enfrentó David fue el uso de memoria unificada de la consola. Si bien esto es común hoy en día en las consolas modernas y APUs, en el momento del lanzamiento de la Xbox 360 era un terreno nuevo, obligando a los desarrolladores de juegos a optimizar el uso del hardware de la consola. A pesar de contar con 512MB de RAM, Andrei tuvo que asegurar que el modelo de 60MB encajara en el espacio que el sistema asignaría al CPU o GPU, ya que compartían la misma piscina de RAM. 🕹️

Sin embargo, con una cuidadosa gestión de memoria y ajustes a cómo funciona el PowerPC, logró hacer que la antigua consola Xbox 360 ejecutara el LLM. Este es otro paso hacia el objetivo de EXO Lab de brindar acceso a la IA a las personas comunes, sin limitarla a mega corporaciones que gastan miles de millones de dólares en equipos de última generación y consumen megavatios de energía. 🌟

Ejecutar un modelo de inteligencia artificial (IA) basado en Llama 2 en un dispositivo que tiene varias décadas de antigüedad ya es, sin duda, una hazaña impresionante que demuestra la evolución y la adaptabilidad de la tecnología. Sin embargo, en un interesante intercambio en línea, un usuario hizo un comentario que llamó la atención: argumentó que contar con 512MB de RAM unificada debería ser más que suficiente para ejecutar modelos más pequeños y eficientes, como el SmolLM de Hugging Face o el modelo Qwen2.5, que opera a 4 bits y tiene un tamaño de 0.5B.

Este comentario no solo pone de relieve el potencial de los modelos de IA más ligeros, sino que también plantea preguntas intrigantes sobre la capacidad de los dispositivos más antiguos para manejar tecnologías avanzadas. Andrei David, un entusiasta de la IA, respondió de manera entusiasta con un ‘¡Desafío aceptado! :)’, lo que sugiere que está dispuesto a explorar y experimentar con estas tecnologías en plataformas que, a primera vista, podrían parecer inadecuadas.

La idea de ver modelos de inteligencia artificial potentes funcionando en una Xbox 360, una consola de videojuegos lanzada en 2005, es emocionante y promete abrir nuevas posibilidades. Este tipo de experimentación no solo podría revitalizar dispositivos antiguos, sino que también podría inspirar a la comunidad tecnológica a encontrar formas innovadoras de optimizar modelos de IA para que funcionen en hardware con recursos limitados.

Esperamos con gran interés los avances y resultados de estas pruebas, ya que podrían allanar el camino para un futuro donde la inteligencia artificial sea accesible y funcional en una variedad de dispositivos, independientemente de su antigüedad o limitaciones técnicas. La combinación de la creatividad de los desarrolladores y la versatilidad de los modelos de IA podría llevar a descubrimientos fascinantes y aplicaciones inesperadas. 👀