在 Xbox 360 上运行 AI 模型:了解具体方法! 🚀
X 用户(以前的 Twitter) 安德烈·大卫 刚刚在拥有近 20 年历史的 Xbox 360 主机上安装并运行了一个基于 Andrej Karpathy 的 llama2.c 的 AI 模型。尽管它已经很老了,大卫还是使用引导加载程序将模型加载到旧控制台中并运行“睡觉乔说”提示。根据该帖子,EXO Lab 成功尝试让 Llama 在 PC 上运行 視窗 98启发大卫进行了他自己的经历。 🚀
尽管 Xbox 360 使用的 AI LLM 与 EXO Lab 的 Pentium II PC 使用的相同,但 David 提到他必须针对游戏机的 PowerPC 架构及其独特的管理功能优化代码。 记忆 (这在当时是创新的)。最显着的区别是 PowerPC 是大端架构,它首先存储最重要的值。 🖥️
另一方面, 英特尔处理器 EXO Lab 实现中使用的 Pentium II 是小尾数法,这意味着它首先优先存储最小值。因此,为了确保模型正确运行,他必须实施一个 字节交换系统并确保任何数据 创建和存储的内存对齐为 128 字节,符合 Xbox 360 内存子系统的要求。
法学硕士在配备 Xenon CPU(3.2GHz PowerPC,3 核)和 512MB 统一 RAM 的 Xbox 360 上运行。基于 @karpathy 的🩷llama2.c,适合在 Microsoft 强大的 2005 控制台上运行,针对 PowerPC 架构和 Xbox 内存管理进行了优化。灵感来自… pic.twitter.com/e9oMLaWIyi2025 年 1 月 10 日
大卫面临的另一个挑战是使用 统一记忆 从控制台。虽然这在现代游戏机和 APU 上很常见,但在 Xbox 360 发布时这是一个新领域,迫使开发人员 优化硬件使用的游戏 从控制台。尽管拥有 512MB RAM,Andrei 仍必须确保 60MB 模型适合系统分配给该模型的空间。 CPU或GPU,因为它们共享相同的 RAM 池。 🕹️
然而,通过仔细的内存管理和对 PowerPC 工作方式的调整,他成功地使旧的 Xbox 360 主机 将执行LLM。这是 EXO Lab 朝着让人们接触人工智能的目标迈出的又一步 常见的,但不限于花费数十亿美元购买尖端设备并消耗兆瓦能源的大型企业。 🌟
毫无疑问,在已有数十年历史的设备上运行基于 Llama 2 的人工智能 (AI) 模型已经是一项令人印象深刻的壮举,展示了该技术的演变和适应性。然而,在一次有趣的在线交流中,一位用户发表了一条引人注目的评论:他认为拥有 512MB 的统一 RAM 应该足以运行更小、更高效的模型,例如 Hugging Face 的 SmolLM 或 Qwen2.5,以 4 位运行,大小为 0.5B。
这一评论不仅强调了更轻的人工智能模型的潜力,而且还提出了关于旧设备处理先进技术的能力的有趣问题。人工智能爱好者 Andrei David 热情回应,“接受挑战!” :)',表明您愿意在乍一看似乎不合适的平台上探索和试验这些技术。
看到强大的人工智能模型在 2005 年发布的 Xbox 360 视频游戏机上运行的想法令人兴奋,并有望开辟新的可能性。此类实验不仅可以使旧设备焕发活力,还可以激励技术社区寻找创新方法来优化人工智能模型,使其在资源有限的硬件上运行。
我们期待这些测试的进展和结果,因为它们可以为未来铺平道路,让人工智能可以在各种设备上访问和运行,无论其年龄或技术限制如何。开发人员的创造力与人工智能模型的多功能性相结合可能会带来令人着迷的发现和意想不到的应用。 👀