요즘 AI 관련 논의는 항상 '최신 GPU가 얼마나 강력한가'에 초점이 맞춰져 있다.
엔비디아가 H100 같은 플래그십 칩을 대규모로 출하할 것이라는 보도가 나오면, 시장 전체가 그 성능 수치에만 반응하는 경향이 있다.
수만 대 단위의 칩이 움직인다는 건 엄청난 규모의 자본 흐름을 의미하고, 그 자체로 산업의 방향성을 결정짓는 것처럼 보인다.
실제로 2023년 한 해 동안 수십만 개 대의 고성능 컴퓨팅 유닛이 시장에 풀릴 것이라는 추정치는 이 거대한 수요를 단적으로 보여준다.
문제는 이 거대한 물량 흐름을 단순히 '판매량'이라는 숫자로만 이해해서는 안 된다는 점이다.
제시되는 가격대나 스펙 시트만 보면 모든 것이 매끄럽게 연결된 것처럼 보이지만, 실제 현장에서는 훨씬 복잡한 변수들이 작동한다.
예를 들어, 가장 저가로 언급되는 모델과 최고 사양의 플래그십 모델 간의 가격 차이와 판매 방식의 차이는, 결국 고객사와의 비즈니스 관계나 물량 규모에 따라 가격이 유동적이라는 사실을 내포한다.
즉, 스펙 시트만 보고 '이게 최적이다'라고 결정하는 건 시간 낭비다.
실제 워크플로우에 붙는 건, 가장 안정적으로 공급받을 수 있는 구조와 비용 효율성이다.
이 거대한 수요를 관통하는 가장 중요한 기술적 병목 지점은 칩 자체의 연산 능력(TFLOPS)이 아니다.
핵심은 바로 '패키징'이다.
모든 고성능 컴퓨팅 GPU가 공통적으로 사용하는 CoWoS 같은 첨단 패키징 공정의 용량 확보가 현재 시장의 가장 큰 제약 요인으로 지목된다.
아무리 뛰어난 설계의 칩이 개발되어도, 그것을 물리적으로 안정적이고 대량으로 통합할 수 있는 파운드리(Foundry)의 생산 라인이 뒷받침되지 않으면, 그 칩은 공상에 머무를 수밖에 없다.
수많은 기업들이 AI 목적으로 수만 개 단위의 GPU를 동시에 요청하면서, 이 패키징 공정의 용량 증설 속도가 수요 폭증 속도를 따라가지 못하는 상황이다.
이는 단순히 '공급 부족'이라는 단어로 치부하기엔 너무 구조적인 문제다.
이는 하드웨어 공급망의 근본적인 병목을 건드리는 문제다.
게다가 매출 구조를 보면, 최신 H100 시리즈뿐만 아니라 이전 세대 A100이나 특정 지역 전용 모델(A800, H800) 같은 레거시 라인업의 판매가 여전히 중요한 축을 담당하고 있다는 점도 간과해서는 안 된다.
결국, 시스템을 구축하는 관점에서는 '가장 최신'이라는 타이틀보다 '현재 가장 안정적으로, 원하는 물량만큼 확보 가능한' 조합이 가장 현실적인 선택지다.
AI 인프라 구축의 병목은 최고 성능의 칩 개발이 아니라, 그 칩들을 물리적으로 결합하는 첨단 패키징 공정의 용량 확보에 달려있다.