CNN 기반 업스케일링 없음.
엔비디아는 CES 2025에서 차세대 DLSS를 발표하며, 기존 버전들이 구축해 온 뛰어난 산업 지원 포트폴리오를 한층 강화했습니다. AMD가 FSR 4로 추격하고 있음에도 불구하고, 게이머를 위한 최고의 업스케일링 기술은 여전히 엔비디아의 DLSS임이 분명합니다. 엔비디아는 최신 버전을 통해 DLSS 4에서 대규모 도약을 이루었습니다.
CNN에서 트랜스포머로의 전환
기존 DLSS는 CNN(합성곱 신경망, Convolutional Neural Networks)을 사용하는 데 한계가 있었습니다. CNN은 주변 픽셀을 분석하여 각 프레임에서 해당 픽셀의 가치를 추정하는 방식으로 작동합니다. 이를 통해 이미지를 빠르게 업스케일링하는 인공 픽셀을 생성할 수 있지만, 종종 잘못된 예측에 기반한 아티팩트를 초래할 수 있습니다. 이러한 부분에서 개선이 있었음에도 불구하고, CNN은 결국 기술적 한계에 직면했으며, 동일한 방식을 고수해서는 큰 진전이 불가능하다는 것이 명확해졌습니다.
이에 엔비디아는 DLSS 4에 트랜스포머(Transformer) 기반 모델로 전환하며 판도를 크게 바꿨습니다. 이 모델은 CNN처럼 거대한 픽셀 클러스터에서 나온 대략적인 추정에 의존하는 것이 아니라, 프레임 내 모든 픽셀을 개별적으로 검사하여 중요도를 분석합니다. 덕분에 주변 영역의 부정확한 픽셀로 인해 손실되거나 모호해질 수 있는 섬세한 디테일을 살려낼 수 있습니다. 결과적으로, 이전보다 훨씬 네이티브 해상도에 가까운 매우 선명한 이미지를 얻을 수 있습니다.
하이퍼 리얼리즘 비주얼 구현 및 성능 개선
시각적 향상 외에도, 트랜스포머 모델은 효율성 면에서도 상당한 개선을 가져왔습니다. 엔비디아는 DLSS 4의 파라미터 수를 이전 모델 대비 두 배로 늘렸음에도 불구하고, RTX 5090에서 지연 시간을 3.25ms에서 단 1ms로 줄이는 동시에 레이 트레이싱 성능을 30~50%까지 끌어올리는 것이 가능해졌습니다.
RTX 50 시리즈 GPU를 사용할 경우, DLSS 4는 블랙웰 아키텍처(Blackwell architecture)의 강점을 극대화하여 멀티 프레임 생성을 지원합니다. 즉, 2개의 실제 프레임 사이에 1개의 가짜 프레임이 생성되는 방식이 아니라, 단 1개의 선행 실제 프레임만으로 최대 3개의 가짜 프레임까지 생성할 수 있습니다. 또한, 메모리 최적화와 수직 레이어 퓨전(vertical layer fusion) 덕분에 RTX 50 시리즈는 CNN 모델의 두 배 크기에 달하는 트랜스포머 모델도 문제없이 처리할 수 있습니다.
그럼에도 불구하고 트랜스포머 모델은 GPU 세대에 관계없이 모든 RTX GPU에 적용될 예정입니다. 따라서 Turing 카드 사용자라 할지라도 트랜스포머 기반 DLSS가 제공하는 모든 진보(프레임 생성 기능 제외)를 누릴 수 있습니다. 사용자들은 더 매끄러운 게임 플레이, 덜 거친 가장자리, 움직임 중 발생하는 고스팅 감소, 그리고 장면을 더 정교하게 파악하여 전반적인 아티팩트를 줄인 경험을 기대할 수 있습니다.
DLSS의 트랜스포머 모델은 최근 출시된 310.3.0 업데이트에서 베타 버전을 종료했습니다. 엔비디아는 향후 몇 달 안에 안정적인 DLSS 공식 버전을 출시하면서 트랜스포머 모델로 공식 전환하고 CNN을 점진적으로 폐기할 것으로 예상됩니다. DLSS 4가 우리가 즐겨하는 게임에서 더욱 안정적인 픽셀을 구현하는 모습을 기대합니다.