신화 속 우로보로스(Ouroboros)를 마주하면, '저것은 영원할 수 없을 것'이라고 생각하는 것이 지극히 논리적입니다. 스스로 꼬리를 삼키는 강력한 상징이지만, 실제로는 실현하기 어려운 일입니다. 인공지능(AI)도 마찬가지일 수 있습니다. 새로운 연구에 따르면, AI는 자신이 생성한 데이터를 가지고 몇 차례 훈련을 반복하면서 '모델 붕괴(model collapse)' 위험에 처할 수 있다고 합니다.
옥스퍼드 대학의 Ilia Shumailov가 이끄는 영국 및 캐나다 연구원들이 Nature에 발표한 논문에 따르면, 오늘날의 머신러닝 모델은 근본적으로 연구진이 '모델 붕괴'라고 명명한 증후군에 취약한 것으로 나타났습니다.
논문의 서론 부분에는 다음과 같이 언급되어 있습니다.
"다른 모델이 생산한 데이터로부터 무분별하게 학습하는 것은 '모델 붕괴'를 초래합니다. 이는 시간이 지남에 따라 모델이 본래의 근본적인 데이터 분포를 망각하는 퇴행성 과정입니다."
이러한 과정이 어떻게, 그리고 왜 발생하는 것일까요? 그 원리는 사실 꽤 이해하기 쉽습니다.
AI 모델은 본질적으로 패턴 매칭 시스템입니다. 이들은 훈련 데이터를 통해 특정 패턴을 학습한 뒤, 입력된 프롬프트에 그 패턴을 대입하여 가장 개연성 높은 다음 내용을 채워나갑니다. 예를 들어, "맛있는 스니커두들 레시피는 무엇인가요?" 또는 "입성 당시 나이 순으로 미국 대통령을 나열하세요"와 같이 질문했을 때, 모델은 기본적으로 해당 단어들의 연속적인 배열 중 가장 가능성 높은 후속 내용을 반환하는 것일 뿐입니다. (이미지 생성기 같은 경우는 다르지만, 많은 면에서 유사한 원리를 공유합니다.)
문제는 모델들이 가장 일반적이고 보편적인 결과에 편향된다는 점입니다. 논쟁적인 스니커두들 레시피가 아니라 가장 인기 있고 평범한 레시피를 제시할 것입니다. 또한 이미지 생성기에게 강아지 그림을 요청하면, 훈련 데이터에서 단 두 장밖에 보지 못한 희귀 품종보다는 골든 리트리버나 래브라도 리트리버가 나올 확률이 높습니다.
여기에 웹 공간 전체가 AI가 생성한 콘텐츠로 넘쳐나고 있으며, 새로운 AI 모델들이 이러한 콘텐츠를 흡수하며 훈련할 가능성까지 더해집니다. 결과적으로 모델들은 골든 리트리버의 사진을 엄청난 양으로 보게 될 것입니다.
이처럼 골든 리트리버가 범람한 데이터(혹은 평범한 블로그 스팸, 가짜 얼굴, 생성된 노래 등)로 훈련이 이루어지면, 그것이 모델의 새로운 '참 진실(ground truth)'로 자리 잡습니다. 모델은 강아지의 90%가 실제로 골든 리트리버라고 믿게 되고, 따라서 강아지 생성을 요청받을 경우 그 비율을 더욱 과도하게 끌어올리게 됩니다. 결국에는 강아지라는 개념 자체를 추적할 수 없을 정도로 변질되는 것입니다.
Nature의 보조 해설 기사에서 제시하는 이 비유는 그 과정을 시각적으로 보여줍니다.
언어 모델이나 다른 모델들 역시 본질적으로 답변을 위해 훈련 데이터셋에서 가장 빈번하게 등장하는 데이터에 편향되는 유사한 현상이 발생합니다. 이는 분명히 어느 정도는 맞는 동작입니다. 이것이 문제가 되는 시점은 현재의 대중 웹이라는 방대한 자료의 바다를 만났을 때입니다.
기본적으로 모델들이 서로의 데이터를 계속해서 소화하게 되면, 어쩌면 자신도 모르는 사이에 점진적으로 비정상적이고 지능이 떨어지다가 결국 붕괴에 이르게 될 수 있습니다. 연구진은 수많은 예시와 완화 방안을 제시하며, 나아가 모델 붕괴를 이론적으로는 '피할 수 없는(inevitable)' 현상으로까지 규정합니다.
비록 연구진이 수행한 실험처럼 전개되지는 않을지라도, 이 가능성은 AI 분야의 모두에게 경고가 될 수 있습니다. 훈련 데이터의 다양성과 깊이는 모델의 품질을 결정하는 가장 중요한 요소로 인식되고 있습니다. 데이터 자체가 고갈되는데, 더 많이 생성하는 과정이 모델 붕괴의 위험을 수반한다면, 이것이 과연 현 AI의 근본적인 한계가 될까요? 만약 실제로 붕괴 현상이 나타나기 시작한다면, 우리는 어떻게 알아차릴 수 있을까요? 그리고 이 문제를 막거나 완화하기 위해 우리가 할 수 있는 조치가 있을까요?
마지막 질문에 대한 답은 아마 '그렇다'일 것이지만, 이것이 우리의 근본적인 우려를 덜어주지는 못합니다.
데이터의 출처와 다양성에 대한 정성적, 정량적 벤치마크가 도움이 될 수 있지만, 아직 이를 표준화하기에는 거리가 있습니다. AI 생성 데이터에 워터마크를 적용하는 것이 다른 AI가 이를 회피하도록 도울 수는 있겠지만, 현재까지 이미지에 그러한 방식으로 표시할 적절한 방법을 아무도 찾아내지 못했습니다 (…… 저는 했습니다).
실제로 기업들은 이러한 종류의 정보를 공유하는 데 동기 부여를 받지 못하고, 자신이 확보할 수 있는 모든 매우 가치 있는 원본 및 인간 생성 데이터를 사재기하여, Shumailov 등이 말하는 그들만의 "최초 진입자 우위(first mover advantage)"를 유지할 수 있습니다.
웹에서 크롤링된 대규모 데이터로 훈련하는 이점을 지속하기 위해서는 [모델 붕괴] 문제에 심각하게 임해야 합니다. 실제로 인터넷에서 크롤링된 데이터에 LLM 생성 콘텐츠가 범람하는 상황에서는, 실제 인간의 상호작용을 통해 수집된 데이터의 가치가 더욱 높아질 것입니다.
... (이런 현상이 지속되면) 기술이 대규모로 채택되기 이전에 인터넷에서 크롤링된 데이터에 접근하거나, 대규모로 인간이 생성한 데이터에 직접 접근하지 못할 경우, 새로운 버전의 LLM을 훈련하는 것이 점점 어려워질 수 있습니다.
이는 AI 모델이 마주할 수 있는 잠재적으로 치명적인 난제 목록에 추가되며, 오늘날의 방법론이 내일의 초지능을 만들어낼 것이라는 주장에 근본적인 의문을 제기합니다.
[출처:] https://techcrunch.com/2024/07/24/model-collapse-scientists-warn-against-letting-ai-eat-its-own-tail