Der X-Benutzer (ehemals Twitter) Andrey David habe gerade ein KI-Modell basierend auf Andrej Karpathys llama2.c auf einer fast 20 Jahre alten Xbox 360-Konsole installiert und ausgeführt. Trotz seines Alters nutzte David einen Bootloader, um das Modell in die alte Konsole zu laden und die Eingabeaufforderung „Sleep Joe said“ auszuführen. Dem Beitrag zufolge handelt es sich um den erfolgreichen Versuch von EXO Lab, Llama auf einem PC zum Laufen zu bringen Windows 98 inspirierte David, seine eigene Erfahrung umzusetzen. 🚀

Obwohl das von der Xbox 360 verwendete KI-LLM auf dem gleichen basiert, das auch vom Pentium II-PC von EXO Lab verwendet wird, erwähnte David, dass er den Code für die PowerPC-Architektur der Konsole und ihre einzigartigen Verwaltungsfunktionen optimieren musste. Erinnerung (die damals innovativ waren). Der wichtigste Unterschied besteht darin, dass PowerPC eine Big-Endian-Architektur ist, die den wichtigsten Wert zuerst speichert. 🖥️

Andererseits ist die Intel-Prozessor Der in der EXO Lab-Implementierung verwendete Pentium II ist Little-Endian, was bedeutet, dass die Speicherung des kleinsten Werts zuerst priorisiert wird. Um sicherzustellen, dass das Modell ordnungsgemäß funktionierte, musste er Folgendes implementieren: Byte-Austauschsystem und stellen Sie sicher, dass alle Daten Die erstellten und gespeicherten Dateien hatten eine ordnungsgemäße Speicherausrichtung von 128 Bytes, wie vom Xbox 360-Speichersubsystem gefordert ⚙️

Eine weitere Herausforderung für David war die Verwendung von einheitliches Gedächtnis von der Konsole aus. Während dies heute auf modernen Konsolen und APUs üblich ist, war es zum Zeitpunkt der Veröffentlichung der Xbox 360 Neuland und zwang die Entwickler dazu Spiele zur Optimierung der Hardwarenutzung von der Konsole aus. Obwohl Andrei über 512 MB RAM verfügte, musste er sicherstellen, dass das 60-MB-Modell in den Platz passt, den das System ihm zuweisen würde CPU oder GPU, da sie sich denselben RAM-Pool teilten. 🕹️

Mit sorgfältiger Speicherverwaltung und Anpassungen an der Funktionsweise von PowerPC gelang es ihm jedoch, das Alte wiederherzustellen Xbox 360-Konsole führt das LLM aus. Dies ist ein weiterer Schritt in Richtung des Ziels von EXO Lab, Menschen Zugang zu KI zu ermöglichen gemeinsam, ohne es auf Megakonzerne zu beschränken, die Milliarden von Dollar für modernste Ausrüstung ausgeben und Megawatt Energie verbrauchen. 🌟

Das Ausführen eines auf Llama 2 basierenden Modells der künstlichen Intelligenz (KI) auf einem Jahrzehnte alten Gerät ist ohne Zweifel bereits eine beeindruckende Leistung, die die Weiterentwicklung und Anpassungsfähigkeit der Technologie demonstriert. In einem interessanten Online-Austausch machte jedoch ein Benutzer einen aufmerksamkeitsstarken Kommentar: Er argumentierte, dass 512 MB einheitlicher RAM mehr als ausreichen sollten, um kleinere, effizientere Modelle wie das SmolLM von Hugging Face oder das Qwen2.5 zu betreiben arbeitet mit 4 Bit und hat eine Größe von 0,5 B.

Dieser Kommentar unterstreicht nicht nur das Potenzial leichterer KI-Modelle, sondern wirft auch interessante Fragen zur Fähigkeit älterer Geräte auf, mit fortschrittlichen Technologien umzugehen. Andrei David, ein KI-Enthusiast, antwortete begeistert mit „Herausforderung angenommen!“ :)‘, was darauf hindeutet, dass Sie bereit sind, diese Technologien auf Plattformen zu erkunden und damit zu experimentieren, die auf den ersten Blick ungeeignet erscheinen könnten.

Die Idee, leistungsstarke KI-Modelle auf einer Xbox 360, einer 2005 erschienenen Videospielkonsole, laufen zu sehen, ist spannend und verspricht neue Möglichkeiten zu eröffnen. Diese Art von Experimenten könnte nicht nur älteren Geräten neues Leben einhauchen, sondern auch die Tech-Community dazu inspirieren, innovative Wege zu finden, um KI-Modelle für die Ausführung auf ressourcenbeschränkter Hardware zu optimieren.

Wir freuen uns auf die Fortschritte und Ergebnisse dieser Tests, da sie den Weg für eine Zukunft ebnen könnten, in der künstliche Intelligenz auf einer Vielzahl von Geräten zugänglich und funktionsfähig ist, unabhängig von deren Alter oder technischen Einschränkungen. Die Kombination aus der Kreativität der Entwickler und der Vielseitigkeit von KI-Modellen könnte zu faszinierenden Entdeckungen und unerwarteten Anwendungen führen. 👀