당시 엔비디아는 GPU가 대규모로 딥러닝을 가속하는 데 사용될 수 있다는 것을 알지 못했다.
딥러닝은 AI가 스스로 학습할 수 있도록 하는 AI 산업의 원동력입니다. 이는 대규모 기계 학습 알고리즘을 실행하도록 설계된 GPU에 의해 구동됩니다. 하지만 딥러닝의 개념 정립은 애초에 이러한 유형의 컴퓨팅을 위해 설계되지 않은 하드웨어 기반 위에서 이루어졌습니다. 엔비디아(Nvidia)의 CEO 젠슨 황(Jensen Huang)은 조 로건(Joe Rogan) 팟캐스트에서, 딥러닝을 처음 개발한 연구원들이 2012년에 SLI 방식으로 3GB GTX 580 그래픽 카드 두 장을 사용하여 모든 것을 구현했었다고 밝힌 바 있습니다.
토론토 대학교의 연구원들은 컴퓨터 비전 분야에서 이미지 감지 기능을 개선하기 위해 딥러닝을 연구했습니다. 2011년, 알렉스 크리제프스키(Alex Krizhevsky), 일리야 수츠케버(Ilya Sutskever), 그리고 제프리 힌튼(Geoffrey Hinton)은 이미지 인식 도구를 더 정교하게 구축하는 방법을 연구하고 있었습니다. 당시에는 '신경망(neural network)'이라는 개념 자체가 생소했기 때문에, 개발자들은 이미지 인식을 위해 가장자리, 모서리, 질감을 감지하는 수동 설계된 알고리즘에 의존했습니다.
이 세 연구원은 약 6천만 개의 매개변수(parameters)를 갖는 8개 계층으로 구성된 아키텍처인 알렉스넷(AlexNet)을 구축했습니다. 이 아키텍처가 독특했던 점은 합성곱 계층(convolutional layer)과 딥 신경망 계층을 결합하여 자가 학습이 가능하다는 점이었습니다. 알렉스넷은 워낙 성능이 뛰어났기에, 처음 공개되었을 때 당시 선도적인 이미지 인식 알고리즘보다 70% 이상 높은 성능을 보여 즉각적으로 업계의 주목을 받았습니다.
젠슨 황은 알렉스넷 개발자들이 이 이미지 인식 알고리즘을 GTX 580 두 장을 SLI 방식으로 사용하여 개발했을 뿐만 아니라, 이 네트워크가 두 GPU 모두에서 실행되도록 최적화되었고, 두 GPU 간 데이터 교환이 필요한 시점에만 이루어져 훈련 시간이 대폭 단축되었다고 설명했습니다. 이로써 GTX 580은 딥러닝/기계 학습 AI 네트워크를 구동한 세계 최초의 그래픽 카드가 되었습니다.
아이러니하게도 이 중요한 이정표가 만들어질 당시 엔비디아는 AI 분야에 대한 투자가 매우 적은 상태였습니다. 엔비디아의 그래픽 연구 개발은 대부분 3D 그래픽 및 게이밍, 그리고 CUDA에 중점을 두고 있었기 때문입니다. GTX 580 자체는 게이밍 목적으로만 설계되었으며 딥러닝 네트워크를 가속화하는 고급 지원 기능은 탑재되어 있지 않았습니다. 그러나 GPU가 가진 본질적인 병렬 처리(parallelism) 능력이 바로 신경망을 고속으로 구동하는 데 결정적으로 필요하다는 사실이 밝혀지면서 상황이 역전되었습니다.
젠슨 황은 알렉스넷이 GTX 580에서 사용된 사례 덕분에 엔비디아가 AI 하드웨어 개발에 진출할 계기를 마련했다고 덧붙였습니다. 그는 회사가 딥러닝이 세계의 문제를 해결하는 데 활용될 수 있음을 깨달은 후, 2012년부터 모든 자금, 개발, 연구 역량을 딥러닝 기술에 집중적으로 투자했다고 밝혔습니다. 이러한 투자는 2016년 최초의 엔비디아 DGX를 탄생시켰고, 일론 머스크(Elon Musk)에게 출하된 볼타(Volta) 아키텍처, 최초 세대 텐서 코어(Tensor cores), 그리고 DLSS 기술의 기반이 되었습니다. 만약 알렉스넷을 구동한 GTX 580 두 장의 경험이 없었다면, 엔비디아는 오늘날의 AI 거대 기업이 아닐 수도 있습니다.
최신 뉴스, 분석 및 리뷰를 피드에서 받아보시려면 구글 뉴스에서 Tom's Hardware를 팔로우하거나 선호 소스로 추가해 주세요.