Xbox 360에서 AI 모델 실행: 놀랍네요 👾

X 사용자(이전의 Twitter) 안드레이 데이비드 거의 20년이 된 Xbox 360 콘솔에 Andrej Karpathy의 llama2.c를 기반으로 한 AI 모델을 설치하고 실행했습니다. 오래되었음에도 불구하고 David는 부트로더를 사용하여 모델을 이전 콘솔에 로드하고 'Sleep Joe가 말했다' 프롬프트를 실행했습니다. 게시물에 따르면 EXO Lab은 라마를 PC에서 실행시키려는 시도에 성공했습니다. 윈도우 98은 데이비드에게 자신의 경험을 실행하도록 영감을 주었습니다. 🚀

Xbox 360에서 사용하는 AI LLM은 EXO Lab의 Pentium II PC에서 사용하는 것과 동일한 기반이지만 David는 콘솔의 PowerPC 아키텍처와 고유한 관리 기능에 맞게 코드를 최적화해야 한다고 언급했습니다. 메모리 (당시에는 혁신적이었습니다). 가장 중요한 차이점은 PowerPC가 가장 중요한 값을 먼저 저장하는 빅엔디안 아키텍처라는 것입니다. 🖥️

반면, 인텔 프로세서 EXO Lab 구현에 사용된 Pentium II는 little-endian입니다. 즉, 가장 작은 값을 먼저 저장하는 것을 우선시합니다. 따라서 모델이 올바르게 작동하는지 확인하기 위해 그는 다음을 구현해야 했습니다. 바이트 교환 시스템을 통해 모든 데이터가 Xbox 360 메모리 하위 시스템에서 요구하는 대로 128바이트의 적절한 메모리 정렬이 생성되고 저장되었습니다.

David가 직면한 또 다른 과제는 통합 메모리 콘솔에서. 이는 오늘날 최신 콘솔과 APU에서는 흔히 볼 수 있는 일이지만, Xbox 360 출시 당시에는 새로운 영역이었으며 개발자는 하드웨어 사용을 최적화하는 게임 콘솔에서. 512MB RAM이 있음에도 불구하고 Andrei는 60MB 모델이 시스템이 할당할 공간에 맞는지 확인해야 했습니다. CPU 또는 GPU, 동일한 RAM 풀을 공유했기 때문입니다. 🕹️

그러나 세심한 메모리 관리와 PowerPC 작동 방식 조정을 통해 그는 낡은 PC를 만드는 데 성공했습니다. 엑스박스 360 콘솔 LLM을 실행합니다. 이는 최첨단 장비에 수십억 달러를 지출하고 메가와트의 에너지를 소비하는 거대 기업에 국한되지 않고 일반 사람들에게 AI에 대한 접근을 제공하려는 EXO Lab의 목표를 향한 또 다른 단계입니다. 🌟

수십 년이 된 장치에서 Llama 2를 기반으로 한 인공 지능(AI) 모델을 실행하는 것은 의심할 여지 없이 이미 Llama 2의 진화와 적응성을 보여주는 인상적인 업적입니다. 기술. 그러나 흥미로운 온라인 교환에서 한 사용자는 주목을 끄는 논평을 했습니다. 그는 512MB의 통합 RAM이 있으면 Hugging Face의 SmolLM 또는 Qwen2.5와 같은 더 작고 효율적인 모델을 실행하는 데 충분하다고 주장했습니다. 4비트로 동작하며 크기는 0.5B이다.

이 의견은 더 가벼운 AI 모델의 잠재력을 강조할 뿐만 아니라 구형 장치의 처리 능력에 대한 흥미로운 질문을 제기합니다. 기술 AI에 대한 열정이 넘치는 안드레이 데이비드는 '도전을 수락합니다! :)'라는 메시지로 열정적으로 응답하며, 이러한 기술을 탐구하고 실험할 의향이 있음을 나타냈습니다. 기술 언뜻 보기에 부적절해 보일 수 있는 플랫폼에서.

Xbox 360에서 실행되는 강력한 인공 지능 모델을 보는 아이디어, 비디오 게임 2005년에 출시된 이 제품은 흥미진진하며 새로운 가능성을 열어줄 것을 약속합니다. 이러한 종류의 실험은 오래된 장치에 활력을 불어넣을 뿐만 아니라 기술 커뮤니티가 혁신적인 방법을 찾도록 영감을 줄 수도 있습니다. 최적화하다 리소스가 제한된 하드웨어에서 실행되는 AI 모델.

우리는 이러한 테스트의 진행과 결과를 큰 관심을 가지고 기대하고 있습니다. 인공지능 다양한 기기에서 접근 가능하고 작동해야 하며, 기기의 연식이나 기술적 한계에 관계 없이 작동해야 합니다. 개발자의 창의성과 모델의 다양성의 결합 AI의 흥미로운 발견과 예상치 못한 응용 분야로 이어질 수도 있습니다. 👀