생성형 AI는 마법처럼 보일지라도, 이러한 시스템 개발의 배후에는 구글(Google), 오픈AI(OpenAI)와 같은 기업에 소속된 수많은 직원이 있습니다. 이들은 '프롬프트 엔지니어'와 분석가로 불리며, 챗봇의 출력물을 평가하여 AI를 개선하는 역할을 담당합니다.
하지만 테크크런치(TechCrunch)가 입수한 구글의 새로운 내부 지침에 따르면, 제미나이(Gemini)를 개발하는 계약자들에게 적용되는 이 지침은, 제미나이가 의료와 같이 매우 민감한 주제에 대해 일반 사용자들에게 잘못된 정보를 산출할 위험이 높아질 수 있다는 우려를 낳고 있습니다.
히타치(Hitachi)가 소유한 아웃소싱 업체인 글로벌로직(GlobalLogic)과 협력하는 계약자들은 제미나이 개선을 위해 "진실성(truthfulness)"과 같은 요소를 기준으로 AI가 생성한 답변을 정기적으로 평가하도록 요청받고 있습니다.
이 계약자들은 이전까지 특정 프롬프트에 대해서는 평가를 '건너뛰는(skip)' 것이 가능하여, 해당 프롬프트에 대한 다양한 AI 작성 답변을 평가할 필요가 없는 경우를 선택적으로 제외할 수 있었습니다. 예를 들어, 특정 계약자가 과학적 배경지식이 없다면, 심장학(cardiology)과 관련된 전문적인 질문이 포함된 프롬프트는 건너뛸 수 있었습니다.
하지만 지난주, 글로벌로직은 구글로부터 계약자들이 자신의 전문 지식 수준과 관계없이 이러한 프롬프트를 더 이상 건너뛸 수 없다는 변경 사항을 발표했습니다.
테크크런치가 확보한 내부 서신에 따르면, 이전 가이드라인은 "이 프롬프트를 평가할 결정적인 전문 지식(예: 코딩, 수학)이 없다면 이 작업을 건너뛰십시오"라고 명시하고 있었습니다.
그러나 이제 지침은 "전문 분야 지식이 필요한 프롬프트는 건너뛰어서는 안 됩니다"로 변경되었습니다. 대신, 계약자들은 "이해할 수 있는 프롬프트 부분만 평가하고, 해당 분야 지식이 부족하다는 메모를 첨부하라"는 지시를 받고 있습니다.
이러한 변화는 계약자들이 자신이 배경 지식이 없는 희귀 질환과 같은 고도로 기술적인 AI 응답에 대해서도 평가를 수행해야 하는 상황을 만들면서, 제미나이의 특정 주제에 대한 정확성에 대한 직접적인 우려를 야기하고 있습니다.
테크크런치가 입수한 내부 서신에서 한 계약자는 "건너뛰는 목적이 더 전문적인 사람에게 맡겨 정확도를 높이는 것이라고 생각하지 않았나?"라고 언급한 바 있습니다.
새 가이드라인에 따르면, 계약자들은 이제 다음 두 가지 경우에만 프롬프트를 건너뛸 수 있습니다. 첫째, 전체 프롬프트나 답변 같은 "정보가 완전히 누락된" 경우이거나, 둘째, 평가를 위해 특별 동의서가 필요한 유해 콘텐츠를 포함하는 경우입니다.
구글은 기사 작성 시점까지 테크크런치의 논평 요청에 응하지 않았습니다. 그러나 본 기사가 게시된 후, 구글은 논평을 통해 회사가 "제미나이의 사실적 정확도를 개선하기 위해 끊임없이 노력하고 있다"고 밝히며 당사의 보도를 부인하지 않았습니다.
구글 대변인인 시라 맥나마라(Shira McNamara)는 "평가자들은 광범위한 구글 제품과 플랫폼 전반에 걸쳐 다양한 작업을 수행합니다. 단순히 콘텐츠 답변만을 검토하는 것이 아니라 스타일, 형식 및 기타 요소에 대한 가치 있는 피드백도 제공합니다. 평가자들이 제공하는 점수는 우리의 알고리즘에 직접적인 영향을 미치지는 않지만, 종합적으로 판단했을 때 시스템이 얼마나 잘 작동하는지 측정하는 데 도움이 되는 유용한 데이터 포인트입니다"라고 전했습니다.
게시 후 구글의 코멘트로 업데이트되었습니다.
본 기사 작성자에게 신호(Signal)를 통해 +1 628-282-2811로 안전하게 제보할 수 있습니다.