Ein KI-Modell auf der Xbox 360 ausführen: Fantastisch 👾

Der X-Benutzer (ehemals Twitter) Andrey David habe gerade ein KI-Modell basierend auf Andrej Karpathys llama2.c auf einer fast 20 Jahre alten Xbox 360-Konsole installiert und ausgeführt. Trotz seines Alters nutzte David einen Bootloader, um das Modell in die alte Konsole zu laden und die Eingabeaufforderung „Sleep Joe said“ auszuführen. Dem Beitrag zufolge handelt es sich um den erfolgreichen Versuch von EXO Lab, Llama auf einem PC zum Laufen zu bringen Windows 98 inspirierte David, seine eigene Erfahrung umzusetzen. 🚀

Obwohl das von der Xbox 360 verwendete KI-LLM auf dem gleichen basiert, das auch vom Pentium II-PC von EXO Lab verwendet wird, erwähnte David, dass er den Code für die PowerPC-Architektur der Konsole und ihre einzigartigen Verwaltungsfunktionen optimieren musste. Erinnerung (die damals innovativ waren). Der wichtigste Unterschied besteht darin, dass PowerPC eine Big-Endian-Architektur ist, die den wichtigsten Wert zuerst speichert. 🖥️

Andererseits ist die Intel-Prozessor Der in der EXO Lab-Implementierung verwendete Pentium II ist Little-Endian, was bedeutet, dass die Speicherung des kleinsten Werts zuerst priorisiert wird. Um sicherzustellen, dass das Modell ordnungsgemäß funktionierte, musste er Folgendes implementieren: Byte-Austauschsystem und stellen Sie sicher, dass alle Daten Die erstellten und gespeicherten Dateien hatten eine ordnungsgemäße Speicherausrichtung von 128 Bytes, wie vom Xbox 360-Speichersubsystem gefordert ⚙️

Eine weitere Herausforderung für David war die Verwendung von einheitliches Gedächtnis von der Konsole aus. Während dies heute auf modernen Konsolen und APUs üblich ist, war es zum Zeitpunkt der Veröffentlichung der Xbox 360 Neuland und zwang die Entwickler dazu Spiele zur Optimierung der Hardwarenutzung von der Konsole aus. Obwohl Andrei über 512 MB RAM verfügte, musste er sicherstellen, dass das 60-MB-Modell in den Platz passt, den das System ihm zuweisen würde CPU oder GPU, da sie sich denselben RAM-Pool teilten. 🕹️

Mit sorgfältiger Speicherverwaltung und Anpassungen an der Funktionsweise von PowerPC gelang es ihm jedoch, das Alte wiederherzustellen Xbox 360-Konsole führt das LLM aus. Dies ist ein weiterer Schritt in Richtung des Ziels von EXO Lab, den Zugang zu KI für normale Menschen zu ermöglichen, ohne sie auf Megakonzerne zu beschränken, die Milliarden von Dollar für modernste Ausrüstung ausgeben und Megawatt Energie verbrauchen. 🌟

Das Ausführen eines auf Llama 2 basierenden Modells der künstlichen Intelligenz (KI) auf einem mehrere Jahrzehnte alten Gerät ist ohne Zweifel bereits eine beeindruckende Leistung, die die Entwicklung und Anpassungsfähigkeit des Geräts demonstriert Technologie. In einem interessanten Online-Austausch machte jedoch ein Benutzer einen aufmerksamkeitsstarken Kommentar: Er argumentierte, dass 512 MB einheitlicher RAM mehr als ausreichen sollten, um kleinere, effizientere Modelle wie das SmolLM von Hugging Face oder das Qwen2.5 zu betreiben arbeitet mit 4 Bit und hat eine Größe von 0,5 B.

Dieser Kommentar unterstreicht nicht nur das Potenzial leichterer KI-Modelle, sondern wirft auch interessante Fragen zur Handhabung älterer Geräte auf Technologien Der KI-Enthusiast Andrei David antwortete begeistert mit „Herausforderung angenommen! :)“ und deutete damit an, dass er bereit ist, diese Technologien zu erforschen und mit ihnen zu experimentieren. Technologien auf Plattformen, die auf den ersten Blick unangemessen erscheinen könnten.

Die Idee, leistungsstarke Modelle künstlicher Intelligenz auf einer Xbox 360 laufen zu sehen, einer Konsole von Videospiele Das 2005 auf den Markt gebrachte Produkt ist spannend und verspricht, neue Möglichkeiten zu eröffnen. Diese Art des Experimentierens könnte nicht nur alte Geräte wiederbeleben, sondern auch die Tech-Community inspirieren, innovative Wege zu finden, um optimieren KI-Modelle zur Ausführung auf ressourcenbeschränkter Hardware.

Wir sehen den Fortschritten und Ergebnissen dieser Tests mit großem Interesse entgegen, da sie den Weg für eine Zukunft ebnen könnten künstliche Intelligenz auf einer Vielzahl von Geräten zugänglich und funktionsfähig sein, unabhängig von deren Alter oder technischen Einschränkungen. Die Kombination aus der Kreativität der Entwickler und der Vielseitigkeit der Modelle der KI könnte zu faszinierenden Entdeckungen und unerwarteten Anwendungen führen. 👀