Пользователь X (ранее Twitter) Андрей Давид только что установил и запустил модель искусственного интеллекта на основе llama2.c Андрея Карпати на консоли Xbox 360, которой почти 20 лет. Несмотря на возраст, Дэвид использовал загрузчик, чтобы загрузить модель в старую консоль и запустить подсказку «Спи, Джо сказал». Согласно сообщению, успешная попытка EXO Lab запустить Llama на ПК с Windows 98 вдохновил Дэвида осуществить свой собственный опыт. 🚀

Хотя AI LLM, используемый в Xbox 360, основан на том же, который используется в ПК Pentium II от EXO Lab, Дэвид упомянул, что ему пришлось оптимизировать код для архитектуры PowerPC консоли и ее уникальных функций управления. память (которые были инновационными на тот момент). Наиболее существенное отличие состоит в том, что PowerPC представляет собой архитектуру с прямым порядком байтов, в которой в первую очередь сохраняется наиболее значимое значение. 🖥️

С другой стороны, процессор Интел Pentium II, используемый в реализации EXO Lab, имеет прямой порядок байтов, что означает, что в первую очередь приоритетом является сохранение наименьшего значения. Итак, чтобы гарантировать правильную работу модели, ему пришлось реализовать систему обмена байтами и гарантировать, что любые данные созданный и сохраненный файл имел правильное выравнивание памяти в 128 байт, как того требует подсистема памяти Xbox 360 ⚙️.

Еще одной проблемой, с которой столкнулся Дэвид, было использование единая память из консоли. Хотя сегодня это распространено на современных консолях и гибридных процессорах, на момент выпуска Xbox 360 это была новая территория, вынуждающая разработчиков игры для оптимизации использования оборудования из консоли. Несмотря на наличие 512 МБ ОЗУ, Андрею нужно было убедиться, что модель на 60 МБ вписывается в пространство, которое система выделяет для ЦП или графический процессор, поскольку они использовали один и тот же пул оперативной памяти. 🕹️

Однако благодаря тщательному управлению памятью и корректировке работы PowerPC ему удалось сделать старую Консоль Xbox 360 выполнит LLM. Это еще один шаг к цели EXO Lab — предоставить людям доступ к искусственному интеллекту. общий, не ограничиваясь мегакорпорациями, которые тратят миллиарды долларов на передовое оборудование и потребляют мегаватты энергии. 🌟

Запуск модели искусственного интеллекта (ИИ) на базе Llama 2 на устройстве, которому уже несколько десятилетий, уже, без сомнения, является впечатляющим достижением, демонстрирующим эволюцию и адаптируемость технологии. Однако в ходе интересного онлайн-обсуждения один пользователь сделал интересный комментарий: он заявил, что наличия 512 МБ унифицированной оперативной памяти должно быть более чем достаточно для запуска меньших по размеру и более эффективных моделей, таких как SmolLM от Hugging Face или Qwen2.5, который работает с 4 битами и имеет размер 0,5 байт.

Этот комментарий не только подчеркивает потенциал более легких моделей искусственного интеллекта, но и поднимает интригующие вопросы о способности старых устройств использовать передовые технологии. Андрей Давид, энтузиаст искусственного интеллекта, с энтузиазмом ответил: «Вызов принят!» :)», предполагая, что вы готовы исследовать и экспериментировать с этими технологиями на платформах, которые, на первый взгляд, могут показаться непригодными.

Идея увидеть мощные модели искусственного интеллекта, работающие на игровой консоли Xbox 360, выпущенной в 2005 году, захватывающа и обещает открыть новые возможности. Эксперименты такого типа могут не только оживить старые устройства, но и вдохновить технологическое сообщество на поиск инновационных способов оптимизации моделей ИИ для работы на оборудовании с ограниченными ресурсами.

Мы с нетерпением ждем прогресса и результатов этих испытаний, поскольку они могут проложить путь к будущему, в котором искусственный интеллект будет доступен и функционален на самых разных устройствах, независимо от их возраста или технических ограничений. Сочетание креативности разработчиков и универсальности моделей ИИ может привести к захватывающим открытиям и неожиданным применениям. 👀