포함된 960GB LPDDR5X 메모리만으로도 전체 시스템의 구매 가격보다 높은 가치를 지닙니다.
235B 파라미터 LLM을 집에서 구동하고 싶지만, 겨우 1만 달러의 예산 때문에 “70B 파라미터 모델조차 겨우 돌릴 수 있는 소비자용 GPU”에 제한되는 상황을 겪어보신 적이 있나요? 개발자 데이비드 노엘 응(David Noel Ng)이 바로 그런 상황에 놓여 있었습니다. 그러던 중 그는 하필 레딧에서 '명백히 가짜'인 엔비디아 그레이스-호퍼(Nvidia Grace-Hopper) 플랫폼을 발견하게 됩니다. 응은 큰 도박을 감행했고, 그의 블로그 게시물에 따르면 이 도박은 엄청난 결실을 맺었습니다. 그는 약간의 개조와 수리만 거쳐, 통상적으로 약 8만 달러에 달하는 엔터프라이즈급 시스템을 1/10 수준의 비용으로 확보했습니다. 특히 여기에 포함된 960GB의 LPDDR5X 메모리만 해도, 그가 이 시스템 전체에 지불한 금액보다 가치가 더 높습니다. 심지어 그는 가격 협상까지 거쳤는데, 레딧의 원래 판매 목록 가격이 10,000 EUR였던 것에 비해 단지 7,000 EUR만 제시하여 판매자에게 가격을 낮추는 데 성공했습니다.
‘명백히 가짜’ 매물에 대한 Ng의 입찰 이유
서론에서 언급했듯이, Ng가 발견한 이 거래는 너무나 이상적으로 보여서 믿기 어려웠습니다. 그러나 그는 판매자를 조사했고, 이 판매자는 운전 거리로 2시간 거리에 있는 합법적인 서버 장비 재판매업자인 것으로 확인되었습니다. 이에 그는 가장 먼저 거래를 확보하기 위해 신속하게 입찰을 진행했습니다.
판매된 그레이스 호퍼 시스템 자체에는 근본적인 문제점들이 있었지만, 극복 불가능한 수준은 아니었습니다. 이 때문에 일반적인 소비자 시장에서는 인기를 얻기 어려웠습니다. 구체적인 문제로는 "액체 냉각 방식에서 공랭식으로 개조된 프랭켄시스템(Frankensystem)"이라는 점, 외관이 상당히 지저분하다는 점, 랙 장착이 어렵다는 점, 그리고 48V 전원 공급 장치를 사용한다는 점 등이 있었습니다.
쇼퍼, 가격 오류로 1,000달러 상당의 PC 하드웨어를 단 86달러에 구매하다
50달러짜리 잡동사니 중고 메인보드가 1,500달러 상당의 SSD 보물창고로 변신
하지만 이 모든 것을 고려하더라도, 이 제안은 거부하기 어려워 보였습니다. 판매된 시스템의 상세 사양은 다음과 같습니다.
- LPDDR5X 메모리: 2개 x 480GB (오류 수정 코드, ECC 탑재)
- HBM3 메모리: 2개 x 96GB
- 총 고속 접근 메모리: 1,152GB
- NVLink-C2C 대역폭: 900 GB/s
- PSU: 고효율 3000W PSU, 230V to 48V 컨버터
물론 이 시스템의 8만 달러 가치라는 추정치 자체도 매우 보수적인 측면이 있을 것입니다. 응은 H100 칩 두 개만 해도 "각각 약 30,000~40,000 유로"에 달한다고 언급합니다.
프랭켄시스템 작동시키기
응의 블로그 글 중 상당 부분은 이 프랭켄시스템을 받아서, 청소하고, 그리고 새로운 작동 냉각 시스템을 구축하는 과정에 할애되어 있습니다. 매우 흥미진진한 읽을거리입니다. 간단히 말해, 엄청난 잠재력을 지닌 엔비디아 호퍼 시스템은 먼지가 쌓이고, 극도로 시끄러우며, 과도하게 열을 내는 기계 상태로 인수되었습니다. 응이 직접 집으로 가져가기 전, 그 모습이 생생하게 시연되었습니다.
응은 애정과 인내심을 가지고, 5리터의 이소프로필 알코올, 재활용되었지만 저렴한 아크틱(Arctic) AiO 액체 쿨러 4개, 커스텀 CNC 가공된 구리 부품 한 쌍, 3D 프린팅 부품 1kg(약 2파운드), 현미경 보조 납땜 작업, LED 조명 스트립, 그리고 자체 기술 지식을 결합하여 마침내 시스템을 작동시키는 데 성공했습니다. 완성되어 재조립된 그레이스 호퍼 시스템의 모습은 상단 사진에서 확인할 수 있습니다.
메모리 골드 마인
응은 완성된 시스템과 그 AI 성능에 매우 만족하는 모습입니다. 그는 이제 "단일 H100 가격보다 저렴한 비용으로 집에서 235B 파라미터 모델을 구동할 수 있게 되었다"고 말합니다. 가장 놀라운 점은, 시스템을 구매한 이후 메모리 가격이 '미친 듯이 폭등'하면서, 이 시스템의 960GB DDR5X 메모리만으로도 응이 이 전체 장치에 지불한 비용보다 더 비싸졌다는 점입니다.
(본문 하단 정보는 생략)