Запуск модели ИИ на Xbox 360: потрясающе 👾

Пользователь X (ранее Twitter) Андрей Давид только что установил и запустил модель искусственного интеллекта на основе llama2.c Андрея Карпати на консоли Xbox 360, которой почти 20 лет. Несмотря на возраст, Дэвид использовал загрузчик, чтобы загрузить модель в старую консоль и запустить подсказку «Спи, Джо сказал». Согласно сообщению, успешная попытка EXO Lab запустить Llama на ПК с Windows 98 вдохновил Дэвида осуществить свой собственный опыт. 🚀

Хотя AI LLM, используемый в Xbox 360, основан на том же, который используется в ПК Pentium II от EXO Lab, Дэвид упомянул, что ему пришлось оптимизировать код для архитектуры PowerPC консоли и ее уникальных функций управления. память (которые были инновационными на тот момент). Наиболее существенное отличие состоит в том, что PowerPC представляет собой архитектуру с прямым порядком байтов, в которой в первую очередь сохраняется наиболее значимое значение. 🖥️

С другой стороны, процессор Интел Pentium II, используемый в реализации EXO Lab, имеет прямой порядок байтов, что означает, что в первую очередь приоритетом является сохранение наименьшего значения. Итак, чтобы гарантировать правильную работу модели, ему пришлось реализовать систему обмена байтами и гарантировать, что любые данные созданный и сохраненный файл имел правильное выравнивание памяти в 128 байт, как того требует подсистема памяти Xbox 360 ⚙️.

Еще одной проблемой, с которой столкнулся Дэвид, было использование единая память из консоли. Хотя сегодня это распространено на современных консолях и гибридных процессорах, на момент выпуска Xbox 360 это была новая территория, вынуждающая разработчиков игры для оптимизации использования оборудования из консоли. Несмотря на наличие 512 МБ ОЗУ, Андрею нужно было убедиться, что модель на 60 МБ вписывается в пространство, которое система выделяет для ЦП или графический процессор, поскольку они использовали один и тот же пул оперативной памяти. 🕹️

Однако благодаря тщательному управлению памятью и корректировке работы PowerPC ему удалось сделать старую Консоль Xbox 360 выполнит LLM. Это еще один шаг к цели EXO Lab — предоставить доступ к ИИ обычным людям, не ограничивая его мегакорпорациями, которые тратят миллиарды долларов на передовое оборудование и потребляют мегаватты энергии. 🌟

Запуск модели искусственного интеллекта (ИИ) на основе Llama 2 на устройстве, которому несколько десятилетий, уже, без сомнения, является впечатляющим достижением, демонстрирующим эволюцию и адаптивность технология. Однако в ходе интересного онлайн-обсуждения один пользователь сделал интересный комментарий: он заявил, что наличия 512 МБ унифицированной оперативной памяти должно быть более чем достаточно для запуска меньших по размеру и более эффективных моделей, таких как SmolLM от Hugging Face или Qwen2.5, который работает с 4 битами и имеет размер 0,5 байт.

Этот комментарий не только подчеркивает потенциал более легких моделей искусственного интеллекта, но и поднимает интригующие вопросы о способности старых устройств справляться с технологии Энтузиаст искусственного интеллекта Андрей Давид с энтузиазмом ответил: «Вызов принят! :)», что говорит о его готовности исследовать и экспериментировать с этими технологиями. технологии на платформах, которые, на первый взгляд, могут показаться неуместными.

Идея увидеть мощные модели искусственного интеллекта, работающие на Xbox 360, консоли от видеоигры Запущенный в 2005 году, он полон энтузиазма и обещает открыть новые возможности. Подобные эксперименты могут не только оживить старые устройства, но и вдохновить техническое сообщество на поиск инновационных способов оптимизировать Модели искусственного интеллекта для работы на оборудовании с ограниченными ресурсами.

Мы с большим интересом ожидаем прогресса и результатов этих испытаний, поскольку они могут проложить путь к будущему, в котором искусственный интеллект быть доступными и функциональными на различных устройствах, независимо от их возраста или технических ограничений. Сочетание креативности разработчиков и универсальности моделей ИИ может привести к захватывающим открытиям и неожиданным применениям. 👀