Faire tourner un modèle d'IA sur Xbox 360 : Génial ! 👾

L'utilisateur X (anciennement Twitter) Andreï David Je viens d'installer et d'exécuter un modèle d'IA basé sur llama2.c d'Andrej Karpathy sur une console Xbox 360 vieille de près de 20 ans. Malgré son âge, David a utilisé un chargeur de démarrage pour charger le modèle dans l'ancienne console et exécuter une invite « Sleep Joe a dit ». Selon le message, la tentative réussie d'EXO Lab de faire fonctionner Llama sur un PC avec Fenêtres 98 a inspiré David à réaliser sa propre expérience. 🚀

Bien que l'AI LLM utilisé par la Xbox 360 soit basé sur le même que celui utilisé par le PC Pentium II d'EXO Lab, David a mentionné qu'il devait optimiser le code pour l'architecture PowerPC de la console et ses fonctionnalités de gestion uniques. mémoire (qui étaient innovants à l'époque). La différence la plus significative est que PowerPC est une architecture big-endian, qui stocke en premier la valeur la plus significative. 🖥️

D'un autre côté, le Processeur Intel Le Pentium II utilisé dans l'implémentation d'EXO Lab est petit-boutiste, ce qui signifie qu'il donne la priorité au stockage de la plus petite valeur en premier. Ainsi, pour s'assurer que le modèle fonctionnait correctement, il a dû mettre en œuvre un système d'échange d'octets et assurez-vous que toutes les données créé et stocké avait un alignement de mémoire approprié de 128 octets, comme l'exige le sous-système de mémoire Xbox 360 ⚙️.

Un autre défi auquel David a dû faire face était l'utilisation de mémoire unifiée depuis la console. Bien que cela soit courant aujourd'hui sur les consoles et les APU modernes, au moment de la sortie de la Xbox 360, il s'agissait d'un nouveau territoire, obligeant les développeurs à des jeux pour optimiser l’utilisation du matériel depuis la console. Malgré 512 Mo de RAM, Andrei devait s'assurer que le modèle de 60 Mo s'inscrivait dans l'espace que le système allait allouer au Processeur ou GPU, puisqu'ils partageaient le même pool de RAM. 🕹️

Cependant, grâce à une gestion minutieuse de la mémoire et à des ajustements du fonctionnement de PowerPC, il a réussi à rendre l'ancien console Xbox 360 exécutera le LLM. Il s'agit d'une nouvelle étape vers l'objectif d'EXO Lab de fournir un accès à l'IA aux gens ordinaires, sans le limiter aux méga-entreprises qui dépensent des milliards de dollars en équipements de pointe et consomment des mégawatts d'énergie. 🌟

Exécuter un modèle d'intelligence artificielle (IA) basé sur Llama 2 sur un appareil vieux de plusieurs décennies est déjà, sans aucun doute, un exploit impressionnant qui démontre l'évolution et l'adaptabilité du technologie. Cependant, lors d'un échange en ligne intéressant, un utilisateur a fait un commentaire intéressant : il a soutenu que disposer de 512 Mo de RAM unifiée devrait être plus que suffisant pour faire fonctionner des modèles plus petits et plus efficaces, tels que le SmolLM de Hugging Face ou le Qwen2.5, qui fonctionne sur 4 bits et a une taille de 0,5B.

Ce commentaire met non seulement en évidence le potentiel des modèles d'IA plus légers, mais soulève également des questions intrigantes sur la capacité des appareils plus anciens à gérer technologies Andrei David, passionné d'IA, a répondu avec enthousiasme : « Défi accepté ! :) », suggérant qu'il est prêt à explorer et à expérimenter ces technologies. technologies sur des plateformes qui, à première vue, peuvent paraître inappropriées.

L'idée de voir de puissants modèles d'intelligence artificielle fonctionner sur une Xbox 360, une console de jeux vidéo Lancé en 2005, il est passionnant et promet d’ouvrir de nouvelles possibilités. Non seulement ce type d’expérimentation pourrait revitaliser les anciens appareils, mais il pourrait également inspirer la communauté technologique à trouver des moyens innovants pour optimiser Modèles d’IA à exécuter sur du matériel aux ressources limitées.

Nous attendons avec beaucoup d'intérêt les progrès et les résultats de ces tests, car ils pourraient ouvrir la voie à un avenir où intelligence artificielle être accessible et fonctionnel sur une variété d’appareils, quel que soit leur âge ou leurs limitations techniques. La combinaison de la créativité des développeurs et de la polyvalence des modèles de l'IA pourrait conduire à des découvertes fascinantes et à des applications inattendues. 👀