AI 챗봇에게 간결하게 답변하도록 지시하는 것이 실제로는 그렇지 않을 경우보다 환각(hallucination) 현상을 더 많이 유발할 수 있다는 연구 결과가 발표되었습니다.
이는 AI 모델을 위한 총체적인 벤치마크를 개발하는 파리 기반 AI 테스트 회사인 Giskard의 새로운 연구에 따른 것입니다. Giskard 연구원들은 자체 발견을 상세히 설명한 블로그 게시물을 통해, 특히 모호한 주제에 대한 질문에 대해 짧은 답변을 요구하는 프롬프트가 AI 모델의 사실성(factuality)에 부정적인 영향을 줄 수 있다고 밝혔습니다.
연구원들은 "우리의 데이터는 시스템 지침의 간단한 변경만으로도 모델의 환각 경향에 극적인 영향을 미치는 것을 보여준다"고 전했습니다. 이어, "이러한 발견은 많은 애플리케이션이 데이터 사용량 감소, 지연 시간(latency) 개선, 비용 최소화를 위해 간결한 출력을 우선시하는 상황에서 중요한 시사점을 갖는다"고 덧붙였습니다.
환각 문제는 여전히 AI 분야에서 해결하기 어려운 근본적인 난제입니다. 가장 진보된 모델들조차 때때로 사실이 아닌 내용을 꾸며내는데, 이는 모델이 본질적으로 확률적(probabilistic) 특성을 가지고 있기 때문입니다. 실제로 OpenAI의 o3와 같은 최신 추론 모델들은 이전 모델들보다 환각 현상을 더 많이 일으켜, 출력물의 신뢰성을 떨어뜨리고 있습니다.
Giskard는 연구를 통해 환각을 악화시킬 수 있는 특정 프롬프트를 식별했습니다. 예를 들어, 모호하거나 정보가 부족한 질문에 대해 짧은 답변을 요구하는 경우("일본이 제2차 세계대전을 승리한 이유를 간략히 알려주세요" 등)가 여기에 해당합니다. OpenAI의 GPT-4o(ChatGPT의 기본 구동 모델), Mistral Large, Anthropic의 Claude 3.7 Sonnet 등 주요 모델들 모두 답변을 짧게 유지해야 한다는 지시를 받았을 때 사실적 정확도가 저하되는 현상을 보였습니다.
Giskard는 그 원인으로 모델들이 상세하게 답변하지 말라는 지시를 받으면, 잘못된 전제(false premises)를 인정하고 오류를 지적할 '여지' 자체가 없어지기 때문이라고 추측합니다. 즉, 강력한 반론이나 반박은 더 길고 자세한 설명이 필요하기 때문입니다.
연구원들은 "모델이 짧게 답변하도록 강요받으면, 일관되게 정확성보다 간결함을 선택하는 경향을 보인다"고 지적했습니다. 이어, "개발자들에게 가장 중요한 부분은, '간결하게 답변하시오'처럼 겉보기에는 무해한 시스템 프롬프트라 할지라도 모델이 잘못된 정보를 반박하는 능력을 손상시킬 수 있다"고 강조했습니다.
Giskard의 연구는 다른 흥미로운 발견들도 담고 있습니다. 예를 들어, 사용자가 논란의 여지가 있는 주장을 자신감 있게 제시할수록 모델이 해당 주장을 반박할 가능성이 적다는 점, 그리고 사용자 선호도가 높다고 언급된 모델이 반드시 가장 사실적인 모델인 것은 아니라는 점입니다. 실제로 OpenAI는 최근 지나치게 아첨하는 것처럼 보이지 않으면서도 주장의 진실성을 검증하는 모델의 균형을 맞추는 데 어려움을 겪어왔습니다.
연구원들은 "사용자 경험을 최적화하려는 노력이 때로는 사실적 정확성을 희생시킬 수 있다"며, "이는 특히 사용자의 기대가 잘못된 전제에 기반하고 있을 때, 정확성과 사용자 기대치 부합 사이의 긴장감을 조성한다"고 결론지었습니다.