실제로 유용한 목적으로 AI 활용.
게임이 점차 복잡해지고 포토리얼리즘에 가까워짐에 따라, 업계는 급증하는 하드웨어 요구 사항을 충족시키기 위해 업스케일링 기술에 점점 더 의존하고 있습니다. 이러한 최적화의 한계로 인해 발생하는 가장 큰 문제 중 하나는 VRAM 사용량으로, 이는 지난 몇 년 동안 급격히 증가했습니다. 이에 대응하기 위해 엔비디아는 '뉴럴 텍스처 압축(Neural Texture Compression, NTC)'이라는 기술을 개발했으며, 이 기술이 오늘 GTC 강연에서 다시 한번 소개되었습니다. 최고 성능의 그래픽카드는 엔비디아의 NTC 기술을 활용할 수 있게 될 것입니다.
Desktop Roadmap
Enterprise Roadmap
Rubin in-depth
NTC는 기존의 블록 기반 압축 기술 대신, 개발자가 작은 신경망을 활용하여 모든 장면의 텍스처를 처리할 수 있게 합니다. 이 방식은 텍스처의 크기를 획기적으로 줄여 게임 설치 용량을 더욱 관리하기 쉽게 할 뿐만 아니라, 런타임(runtime)의 VRAM 사용량도 절감합니다. 결과적으로 생성되는 텍스처는 시각적 품질도 향상되는데, 엔비디아는 최종 렌더링에서 최대 4배에 달하는 고해상도를 달성했다고 주장합니다.
예를 들어, 엔비디아는 표준 블록 압축 방식이 6.5 GB의 VRAM을 소모했던 투스칸 빌라 씬을 테스트했지만, NTC로 전환하면서 이를 단 970 MB로 줄였으며 이미지 품질은 그대로 유지했습니다. 이전에 발표된 다른 데모에서는 272 MB의 압축되지 않은 텍스처를 가진 비행 헬멧을 보여주었는데, 블록 압축으로는 98 MB까지 줄었지만, NTC를 적용하자 단 11.37 MB로 줄어들어 원본 대비 약 24배나 효율적이었습니다.
회사 측은 유사한 개념을 적용한 '뉴럴 머티리얼스(Neural Materials)'도 시연했습니다. 이는 연산 비용이 많이 드는 BRDF(Bidirectional Reflectance Distribution Function) 기반의 수학적 연산에 의존하기보다, 신경망을 통해 재질 텍스처 데이터를 평가하고 압축 해제하도록 합니다. 일반적으로 재질을 구현하기 위해서는 여러 텍스처 맵을 쌓아 사용하며, GPU는 렌더링 파이프라인에서 빛이 각 레이어와 어떻게 상호작용하는지 동시에 계산해야 합니다.
뉴럴 머티리얼스는 단순히 신경망에게 해당 시나리오에서 빛이 어떻게 반응할지 물어보고 그 결과를 바탕으로 픽셀에 음영을 입히는 방식입니다. 이 신경망은 모든 텍스처 데이터로 훈련되었기 때문에, 빛의 각도와 입사각만으로 결과 값을 미리 알고 있습니다. 따라서 아래 데모 씬에서 엔비디아는 이미지 품질 손실 없이 1080p 해상도에서 최대 7.7배 빠른 렌더 시간을 달성했습니다.
NTC가 이처럼 효율적인 이유는 현대 GPU에 탑재된 별도의 하드웨어 블록인 행렬 가속기 엔진을 활용하기 때문이며, 이 덕분에 기본 렌더링 성능에 영향을 주지 않습니다. 엔비디아는 이를 텐서 코어(Tensor Cores)라 부르고, 인텔은 XMX 엔진(XMX engines)이라 칭하며, AMD는 AI 가속기(AI accelerators)로 명명합니다. DLSS, FSR, XeSS와 같은 업스케일러들도 이러한 원리에 속합니다. 이들은 낮은 해상도의 프레임을 더 고해상도의 이미지로 변환하는 원리이기 때문입니다.
이 기술은 근본적으로 자원 효율성을 극대화하는 방향으로 발전하고 있습니다.
한편, 이 기술적 발전은 새로운 패러다임을 제시하고 있습니다.