X 사용자(이전의 Twitter) 안드레이 데이비드 거의 20년이 된 Xbox 360 콘솔에 Andrej Karpathy의 llama2.c를 기반으로 한 AI 모델을 설치하고 실행했습니다. 오래되었음에도 불구하고 David는 부트로더를 사용하여 모델을 이전 콘솔에 로드하고 'Sleep Joe가 말했다' 프롬프트를 실행했습니다. 게시물에 따르면 EXO Lab은 라마를 PC에서 실행시키려는 시도에 성공했습니다. 윈도우 98은 데이비드에게 자신의 경험을 실행하도록 영감을 주었습니다. 🚀

Xbox 360에서 사용하는 AI LLM은 EXO Lab의 Pentium II PC에서 사용하는 것과 동일한 기반이지만 David는 콘솔의 PowerPC 아키텍처와 고유한 관리 기능에 맞게 코드를 최적화해야 한다고 언급했습니다. 메모리 (당시에는 혁신적이었습니다). 가장 중요한 차이점은 PowerPC가 가장 중요한 값을 먼저 저장하는 빅엔디안 아키텍처라는 것입니다. 🖥️

반면, 인텔 프로세서 EXO Lab 구현에 사용된 Pentium II는 little-endian입니다. 즉, 가장 작은 값을 먼저 저장하는 것을 우선시합니다. 따라서 모델이 올바르게 작동하는지 확인하기 위해 그는 다음을 구현해야 했습니다. 바이트 교환 시스템을 통해 모든 데이터가 Xbox 360 메모리 하위 시스템에서 요구하는 대로 128바이트의 적절한 메모리 정렬이 생성되고 저장되었습니다.

David가 직면한 또 다른 과제는 통합 메모리 콘솔에서. 이는 오늘날 최신 콘솔과 APU에서는 흔히 볼 수 있는 일이지만, Xbox 360 출시 당시에는 새로운 영역이었으며 개발자는 하드웨어 사용을 최적화하는 게임 콘솔에서. 512MB RAM이 있음에도 불구하고 Andrei는 60MB 모델이 시스템이 할당할 공간에 맞는지 확인해야 했습니다. CPU 또는 GPU, 동일한 RAM 풀을 공유했기 때문입니다. 🕹️

그러나 세심한 메모리 관리와 PowerPC 작동 방식 조정을 통해 그는 낡은 PC를 만드는 데 성공했습니다. 엑스박스 360 콘솔 LLM을 실행합니다. 이는 사람들에게 AI에 대한 접근권을 제공하려는 EXO Lab의 목표를 향한 또 다른 단계입니다. 흔한, 최첨단 장비에 수십억 달러를 지출하고 메가와트의 에너지를 소비하는 거대 기업에 국한되지 않습니다. 🌟

수십 년 된 장치에서 Llama 2 기반 인공 지능(AI) 모델을 실행하는 것은 이미 의심할 여지 없이 기술의 진화와 적응성을 보여주는 인상적인 업적입니다. 그러나 흥미로운 온라인 교환에서 한 사용자는 주목을 끄는 논평을 했습니다. 그는 512MB의 통합 RAM이 있으면 Hugging Face의 SmolLM 또는 Qwen2.5와 같은 더 작고 효율적인 모델을 실행하는 데 충분하다고 주장했습니다. 4비트로 동작하며 크기는 0.5B이다.

이 의견은 더 가벼운 AI 모델의 잠재력을 강조할 뿐만 아니라 구형 장치가 고급 기술을 처리할 수 있는 능력에 대한 흥미로운 질문을 제기합니다. AI 마니아인 안드레이 데이비드(Andrei David)는 '도전 수락! :)'는 언뜻 보기에는 부적합해 보일 수 있는 플랫폼에서 이러한 기술을 기꺼이 탐색하고 실험할 의향이 있음을 나타냅니다.

2005년에 출시된 비디오 게임 콘솔인 Xbox 360에서 강력한 AI 모델이 실행되는 것을 본다는 아이디어는 흥미롭고 새로운 가능성을 열어줄 것을 약속합니다. 이러한 유형의 실험은 오래된 장치를 활성화할 수 있을 뿐만 아니라 기술 커뮤니티가 리소스가 제한된 하드웨어에서 실행되도록 AI 모델을 최적화하는 혁신적인 방법을 찾도록 영감을 줄 수도 있습니다.

우리는 이러한 테스트의 진행과 결과를 기대합니다. 이는 연령이나 기술적 한계에 관계없이 다양한 장치에서 인공 지능에 접근하고 기능할 수 있는 미래를 위한 길을 열 수 있기 때문입니다. 개발자의 창의성과 AI 모델의 다양성이 결합되면 매혹적인 발견과 예상치 못한 적용이 가능해질 수 있습니다. 🙌