연구자들이 새로운 AI "스케일링 법칙(scaling law)"을 발견했다고 주장하는가? 소셜 미디어를 중심으로 그런 루머가 돌고 있지만, 전문가들은 회의적이다.
스케일링 법칙은 비공식적인 개념으로, AI 모델의 성능이 훈련에 사용되는 데이터셋과 컴퓨팅 자원의 규모가 커짐에 따라 어떻게 향상되는지를 설명한다. 대략 1년 전까지는 "사전 학습(pre-training)"—즉, 점점 더 큰 데이터셋으로 점점 더 큰 모델을 훈련하는 방식—이 지배적인 법칙이었다. 적어도 대부분의 선도 AI 연구소들이 이 방식을 채택했기 때문이다.
사전 학습이 사라진 것은 아니지만, 이를 보완하는 두 가지 추가적인 스케일링 법칙인 "사후 학습 스케일링(post-training scaling)"과 "테스트 시간 스케일링(test-time scaling)"이 등장했다. 사후 학습 스케일링은 본질적으로 모델의 행동을 미세 조정하는 과정이며, 테스트 시간 스케일링은 추론(inference)에 더 많은 컴퓨팅 자원을 투입하는 것을 의미한다. 이는 일종의 '추론 능력'을 끌어올리기 위함이다. (참고: Google과 UC 버클리 연구진이 논문에서 제시한 방식 중, 온라인에서 네 번째 법칙으로 불리는 '추론 시간 검색(inference-time search)'과 같은 모델들이 여기에 해당한다.)
추론 시간 검색은 모델이 하나의 질의에 대해 여러 가능한 답변을 병렬로 생성한 후, 그중 '가장 좋은' 답변을 선택하는 방식이다. 이 연구진은 이 기법이 Google의 Gemini 1.5 Pro 같은 연식 있는 모델의 성능을 OpenAI의 o1-preview '추론' 모델이 과학 및 수학 벤치마크에서 능가하는 수준으로 향상시킬 수 있다고 주장한다.
본 논문은 이 검색 축과 그 스케일링 추세에 초점을 맞추었다. 예를 들어, Gemini 1.5(2024년 초의 구형 모델!)가 단순히 무작위로 200개의 응답을 샘플링하고 자체 검증(self-verifying)하는 것만으로 o1-Preview를 능가하고 o1에 근접했다. 이는 파인튜닝(finetuning), 강화 학습(RL), 또는 정답 검증기(ground-truth verifiers)를 사용하지 않은 경우다.
[원문 발췌]
"저희는 '사전 학습(pre-training)에서 얻은 지식'과 '사후 학습(fine-tuning)에서 얻은 지식'을 분리하여, 모델이 어떤 지식에 더 많이 의존하는지 분석했습니다. 그 결과, 모델이 특정 유형의 지식에 편향되어 있거나, 특정 지식의 부재로 인해 성능이 떨어지는 현상을 발견했습니다. 이 같은 지식 편향성을 완화할 수 있는 새로운 방식을 제안합니다."
[논의]
"이 같은 지식 편향성을 완화할 수 있는 새로운 방법을 제안합니다. 이는 모델의 '기존 지식(prior knowledge)'과 '학습된 지식(acquired knowledge)'을 분리하여, 모델이 어느 지식에 의존하고 있는지 분석하는 데서 출발합니다. 연구를 통해 모델이 특정 지식에 지나치게 편중되어 있거나, 특정 지식이 부족할 때 성능이 저하되는 현상들을 확인했습니다. 이 현상들을 보완할 수 있는 새로운 프레임워크를 제시합니다."
[논평]
"실제 지식 기반 추론(Knowledge-grounded reasoning)을 위해, 우리는 '기존 지식(prior knowledge)'과 '새로 학습된 지식(acquired knowledge)'을 분리하는 프레임워크를 개발했습니다. 모델의 추론 과정에서 두 지식이 어떻게 상호작용하는지 보여주었습니다. 이 방법을 통해 모델이 어느 지식에 의존하고 있는지 진단하고, 결핍된 지식을 보충하는 방식으로 성능 향상을 이끌어낼 수 있습니다."
[요약]
제공된 세 가지 텍스트는 모두 **'지식 편향성(Knowledge Bias)'**이라는 핵심 개념을 다루고 있으며, 이를 해결하기 위한 '지식 분리(Knowledge Separation)' 프레임워크를 제안한다는 공통점이 있습니다. 각 텍스트는 사용된 전문 용어와 문맥에 따라 강조하는 측면이 다릅니다.
핵심 구조:
- 문제 제기: 모델의 추론 과정에서 특정 지식(Knowledge A)에 과도하게 의존하거나(편향), 특정 지식(Knowledge B)이 부족하여 성능 저하가 발생함.
- 핵심 개념: 지식의 분리 (Prior Knowledge vs. Acquired Knowledge).
- 해결책: 두 지식 축을 분리하고 분석하여, 모델이 지식 결손을 스스로 진단하고 보충하도록 돕는 메커니즘(프레임워크)을 구축함.