Menjalankan model AI di Xbox 360: Luar biasa 👾

Pengguna X (sebelumnya Twitter) Andrei David baru saja memasang dan menjalankan model AI berdasarkan llama2.c milik Andrej Karpathy pada konsol Xbox 360 yang berusia hampir 20 tahun. Meskipun usianya sudah tua, David menggunakan bootloader untuk memuat model ke konsol lama dan menjalankan perintah 'Sleep Joe said'. Menurut postingan tersebut, upaya sukses EXO Lab untuk menjalankan Llama di PC dengan Windows 98 menginspirasi David untuk melakukan eksperimennya sendiri. 🚀

Meskipun AI LLM yang digunakan oleh Xbox 360 didasarkan pada yang sama dengan yang digunakan di PC Pentium II EXO Lab, David menyebutkan bahwa ia harus mengoptimalkan kode untuk arsitektur PowerPC konsol dan karakteristik manajemennya yang unik. di luar kepala (yang inovatif pada saat itu). Perbedaan paling signifikan adalah bahwa PowerPC adalah arsitektur big-endian, yang menyimpan nilai paling signifikan terlebih dahulu. 🖥️

Di sisi lain, Prosesor Intel Pentium II yang digunakan dalam implementasi EXO Lab adalah little-endian, artinya memprioritaskan penyimpanan nilai terkecil terlebih dahulu. Jadi, untuk memastikan modelnya bekerja dengan baik, dia harus menerapkan sistem pertukaran byte dan memastikan bahwa data apa pun yang dibuat dan disimpan memiliki penyelarasan memori yang tepat sebesar 128 byte, seperti yang dipersyaratkan oleh subsistem memori Xbox 360. ⚙️

Tantangan lain yang dihadapi David adalah penggunaan memori terpadu dari konsol. Meskipun hal ini sudah umum dilakukan pada konsol dan APU modern, pada saat peluncuran Xbox 360 hal ini merupakan hal baru, yang memaksa para pengembang untuk permainan untuk mengoptimalkan penggunaan perangkat keras dari konsol. Meskipun memiliki RAM 512MB, Andrei harus memastikan bahwa model 60MB akan sesuai dengan ruang yang dialokasikan sistem untuk CPU atau GPU, karena mereka berbagi kumpulan RAM yang sama. 🕹️

Namun, dengan manajemen memori yang cermat dan mengubah cara kerja PowerPC, ia berhasil membuat yang lama Konsol Xbox 360 akan menjalankan LLM. Ini adalah langkah selanjutnya menuju tujuan EXO Lab untuk menyediakan akses AI kepada masyarakat. umum, tidak terbatas pada perusahaan besar yang menghabiskan miliaran dolar untuk peralatan canggih dan mengonsumsi megawatt energi. Bahasa Indonesia:

Menjalankan model kecerdasan buatan (AI) berdasarkan Llama 2 pada perangkat yang berusia beberapa dekade tidak diragukan lagi merupakan prestasi mengesankan yang menunjukkan evolusi dan kemampuan beradaptasi teknologi. teknologi. Namun, dalam pertukaran daring yang menarik, seorang pengguna memberikan komentar yang menarik perhatian: ia berpendapat bahwa memiliki RAM terpadu sebesar 512 MB seharusnya lebih dari cukup untuk menjalankan model yang lebih kecil dan lebih efisien, seperti SmolLM milik Hugging Face atau model Qwen2.5, yang beroperasi pada 4 bit dan berukuran 0,5B.

Komentar ini tidak hanya menyoroti potensi model AI yang lebih ringan, tetapi juga menimbulkan pertanyaan menarik tentang kemampuan perangkat lama untuk menangani Teknologi Penggemar AI Andrei David dengan antusias menanggapi dengan 'Tantangan diterima! :)', yang menunjukkan bahwa ia bersedia untuk mengeksplorasi dan bereksperimen dengan teknologi ini. Teknologi pada platform yang, sekilas, mungkin tampak tidak cocok.

Ide melihat model kecerdasan buatan yang kuat berjalan di Xbox 360, sebuah konsol permainan video Diluncurkan pada tahun 2005, ini menarik dan menjanjikan untuk membuka kemungkinan baru. Eksperimen semacam ini tidak hanya dapat menghidupkan kembali perangkat lama, tetapi juga dapat menginspirasi komunitas teknologi untuk menemukan cara inovatif untuk mengoptimalkan Model AI berjalan pada perangkat keras dengan sumber daya terbatas.

Kami menantikan kemajuan dan hasil dari pengujian ini, karena hal ini dapat membuka jalan bagi masa depan di mana kecerdasan buatan dapat diakses dan berfungsi pada berbagai perangkat, terlepas dari usia atau keterbatasan teknisnya. Kombinasi kreativitas pengembang dan fleksibilitas model dari AI dapat mengarah pada penemuan yang menarik dan aplikasi yang tak terduga. 👀