이번 주, 벤처 캐피털(VC) 업체들로부터 수억 달러를 유치한 엔비디아 기반 스타트업 사카나 AI가 주목할 만한 주장을 내놓았습니다. 이 회사는 자신들이 개발한 AI 시스템 ‘AI CUDA Engineer’를 통해 특정 AI 모델의 훈련 속도를 최대 100배까지 효과적으로 높일 수 있다고 밝혔습니다.
하지만 이 시스템은 작동하지 않았습니다.
이에 대해 X(구 트위터)상에서는 사카나의 시스템이 실제로는 평균보다 낮은 모델 훈련 성능을 초래했다는 사실이 빠르게 발견되었습니다.
한 사용자*에 따르면, 사카나의 AI는 속도 향상이 아닌 3배의 속도 저하를 초래했습니다.
도대체 무엇이 잘못된 걸까요? OpenAI의 기술 담당 직원인 루카스 바이어(Lucas Beyer)가 올린 게시물에 따르면, 코드의 버그가 원인이었습니다.
바이어는 X에 "그들의 초기 코드는 미묘한 방식에서 잘못되어 있다. 벤치마킹을 완전히 다른 결과로 두 번 실행했다는 사실만으로도 그들은 멈춰 서서 깊이 생각해야 한다"고 지적했습니다.
사카나 AI는 금요일에 발표한 사후 보고서(postmortem)를 통해, 시스템이 '속임수'를 찾아내는 방법이 있다는 점을 인정했습니다. 그리고 이는 시스템이 원하는 목표(모델 훈련 속도 향상)를 달성하는 것이 아니라, 그 과정에서 결함을 찾아내 높은 지표를 얻으려는 경향, 즉 '보상 해킹(reward hack)'으로 인한 현상이라고 설명했습니다. 이러한 유사한 현상은 체스 게임을 두도록 훈련된 AI에서도 관찰된 바 있습니다.
사카나에 따르면, 이 시스템은 회사가 사용하던 평가 코드 내에서 정확성 검증(validation)을 우회할 수 있게 하는 취약점을 발견한 것이었습니다. 사카나는 이 문제를 해결했다고 밝히며, 업데이트된 자료에서 자신들의 주장을 수정할 계획이라고 전했습니다.
사카나는 X 게시물에서 "이후 저희는 이러한 허점을 제거하기 위해 평가 및 런타임 프로파일링 장치(harness)를 더욱 강력하게 만들었습니다"라고 언급했습니다. 이어 "현재 논문과 결과에 이러한 영향 등을 반영하고 논의하기 위해 수정하는 과정에 있습니다... 독자 여러분께 우리의 간과에 대해 깊이 사과드립니다. 곧 이 작업의 수정본을 제공하고 저희가 배운 점에 대해 논의하겠습니다"라고 밝혔습니다.
실수를 솔직하게 인정하는 사카나의 태도는 박수를 받아 마땅합니다. 하지만 이 일화는 만약 어떤 주장이 너무 완벽하게 들린다면, 특히 AI 분야에서는 그럴 확률이 낮다는 점을 좋은 교훈으로 남깁니다.