테크크런치(TechCrunch)가 입수한 내부 서신에 따르면, 구글의 제미나이(Gemini) AI 개선 작업에 참여한 계약자들이 그 답변을 앤트로픽(Anthropic)의 경쟁 모델인 클로드(Claude)의 출력물과 비교하고 있는 것으로 알려졌다.
구글은 테크크런치로부터 논평 요청을 받았으나, 테스트 과정에서 제미나이를 대상으로 클로드를 사용한 것에 대한 승인 여부는 밝히지 않았다.
기술 회사들이 더 나은 AI 모델을 개발하기 위해 경쟁하면서, 이러한 모델의 성능은 종종 경쟁사와 비교하여 평가된다. 일반적으로는 계약자들이 경쟁사 AI 답변을 일일이 평가하기보다는 자체 모델을 산업 표준 벤치마크(industry benchmarks)에 통과시키는 방식으로 이루어진다.
제미나이의 출력물 정확도를 평가하는 임무를 맡은 계약자들은 진실성(truthfulness), 상세성(verbosity) 등 여러 기준에 따라 각 답변을 점수화해야 한다. 테크크런치가 확보한 서신에 따르면, 계약자들에게는 프롬프트당 최대 30분 동안 답변자가 어느 쪽(제미나이인지 클로드를 사용했는지)이 더 나은 답변인지 판단할 시간이 주어진다.
해당 서신에는 계약자들이 제미나이를 다른 이름 없는 AI 모델들과 비교하는 데 사용하는 내부 구글 플랫폼에서 앤트로픽의 클로드에 대한 언급이 발견되기 시작했다는 내용이 포함되어 있었다. 테크크런치가 확인한 바에 따르면, 제미나이 계약자들에게 제시된 출력물 중 적어도 하나는 "저는 앤트로픽이 만든 클로드입니다(I am Claude, created by Anthropic)."라고 명시했다.
한 내부 채팅 기록에는 계약자들이 클로드의 응답이 제미나이보다 안전성(safety)을 더 강조하는 것처럼 보인다는 것을 인지한 내용이 담겨 있었다. 한 계약자는 "AI 모델 중 클로드의 안전 설정이 가장 엄격합니다(Claude’s safety settings are the strictest)"라고 작성했다. 특정 사례에서는 클로드가 다른 AI 비서 역할극 등 안전하다고 판단되지 않는 프롬프트에는 응답하지 않았다. 또 다른 사례에서는 클로드가 답변을 회피했지만, 제미나이의 답변은 "노출 및 속박(nudity and bondage)"을 포함했다는 이유로 "막대한 안전 위반(huge safety violation)"으로 분류되었다.
앤트로픽의 상업적 서비스 약관(commercial terms of service)에 따르면, 고객은 앤트로픽의 승인 없이 클로드를 이용해 "경쟁 제품이나 서비스(build a competing product or service)"를 구축하거나 "경쟁 AI 모델을 훈련하는(train competing AI models)" 것이 금지되어 있다. 구글은 앤트로픽의 주요 투자사이다.
제미나이를 운영하는 구글 딥마인드(Google DeepMind)의 대변인 시라 맥나마라(Shira McNamara)는 테크크런치에 문의했을 때, 구글이 클로드에 접근할 수 있는 앤트로픽의 승인을 얻었는지 여부에 대해 답변을 거부했다. 기사 게재 직전에 연락을 취한 앤트로픽 대변인은 기자 회견 시간까지 논평을 제공하지 않았다.
맥나마라는 딥마인드가 평가 목적으로 "모델 출력물 비교(compare model outputs)"는 하지만, 제미나이를 앤트로픽 모델로 훈련시키지는 않는다고 설명했다.
그는 "물론, 표준 산업 관행에 따라 경우에 따라 저희는 평가 과정의 일환으로 모델 출력을 비교합니다(Of course, in line with standard industry practice, in some cases we compare model outputs as part of our evaluation process)"라고 말했지만, "저희가 앤트로픽 모델을 사용하여 제미나이를 훈련시켰다는 모든 제안은 사실이 아닙니다(any suggestion that we have used Anthropic models to train Gemini is inaccurate)"라고 덧붙였다.
지난주, 테크크런치는 구글의 AI 제품을 다루는 계약자들이 이제 자신의 전문 영역을 벗어난 영역에서 제미나이의 AI 답변을 평가하도록 강요받고 있다고 단독 보도했다. 내부 서신에는 제미나이가 헬스케어와 같은 극도로 민감한 주제에 대해 부정확한 정보를 생성할 수 있다는 계약자들의 우려가 표명되기도 했다.
이 기자는 Signal을 통해 +1 628-282-2811로 안전하게 제보를 받을 수 있습니다.
테크크런치에서는 AI 전문 뉴스레터를 제공합니다!
매주 수요일 받은 편지함에서 받아보려면 여기서 가입하세요.
[출처:] https://techcrunch.com/2024/12/24/google-is-using-anthropics-claude-to-improve-its-gemini-ai