미디어 및 기술에 대한 등급과 리뷰를 제공하는 아동 안전 중심의 비영리 단체는 금요일에 구글의 Gemini AI 제품에 대한 위험 평가 보고서를 발표했다. 해당 단체는 구글의 AI가 아동들에게 친구가 아닌 컴퓨터임을 명확히 알려준 점은 긍정적으로 평가하면서도(이는 정서적으로 취약한 개인에게 망상적 사고나 정신병과 연관될 수 있다는 점에서 중요한 요소이다), 다른 여러 측면에서는 개선할 여지가 있다고 지적했다.
특히 이 단체는 Gemini의 "만 13세 미만" 및 "청소년 경험(Teen Experience)" 등급 모두 내부적으로는 성인용 Gemini의 버전 형태를 띠고 있으며, 추가 안전 기능만 덧붙인 수준이라고 밝혔다. 이 단체는 AI 제품이 진정으로 아동에게 안전하려면, 처음부터 아동 안전을 염두에 두고 설계되어야 한다고 주장했다.
예를 들어, 이번 분석에 따르면 Gemini는 성적인 내용, 약물, 알코올 등 부적절한 자료뿐만 아니라 아동이 감당할 준비가 되지 않은 위험한 정신 건강 조언과 관련된 정보 등 "부적절하고 위험한" 자료를 여전히 아동들과 공유할 수 있는 것으로 나타났다.
이러한 내용은 특히 부모들에게 큰 우려를 낳을 수 있다. 최근 AI가 청소년의 일부 자살에 연루된 것으로 알려졌기 때문이다. 실제로 OpenAI는 16세 소년이 자신의 계획에 대해 수개월 동안 ChatGPT를 상의하다가 챗봇의 안전 가드레일을 우회하는 데 성공한 뒤 자살한 사건 이후, 사상 최초의 명예훼손 사망 소송에 직면했다. 이전에 AI 동반자 제작사인 Character.AI 역시 청소년 사용자 이용자의 자살 건으로 소송을 당한 바 있다.
또한 이번 분석 시점은 Apple이 차년도 출시를 앞둔 AI 기능 탑재 Siri에 Gemini를 LLM(대규모 언어 모델)으로 고려하고 있다는 뉴스 유출과 맞물려 나온 것이다. 만약 Apple이 안전 문제를 적절히 완화하지 못한다면, 이는 더 많은 청소년들을 위험에 노출시킬 수 있다.
이 단체는 Gemini의 아동 및 청소년 제품들이 사용자 연령대에 따른 차별적인 지도와 정보를 필요로 한다는 점을 간과했다고 지적했다. 그 결과, 안전을 위한 필터가 추가되었음에도 불구하고 두 제품 모두 종합 평가에서 "고위험(High Risk)" 등급을 받았다.
Common Sense Media의 AI 프로그램 수석 이사인 로비 토니는 TechCrunch가 보도한 새로운 평가에 대해 "Gemini가 기본 몇 가지는 맞추었지만, 세부 사항에서 실수를 한다"고 말했다. 토니는 덧붙여, "아동을 위한 AI 플랫폼은 그들이 현재 처한 상황에 맞춰야 하며, 발달 단계가 다른 아동들에게 일률적인 접근 방식을 취해서는 안 됩니다. AI가 아동에게 안전하고 효과적이려면, 단순히 성인용 제품을 개조한 버전이 아니라 아동의 필요와 발달 과정을 염두에 두고 설계되어야 합니다."라고 강조했다.
구글은 안전 기능이 개선되고 있음을 언급하며 이 평가에 반박했다.
이 회사는 TechCrunch를 통해 만 18세 미만 사용자를 위한 구체적인 정책과 안전장치가 마련되어 있어 유해한 결과물 발생을 방지하고 있으며, 보호 기능 개선을 위해 레드팀(red-teams) 운영 및 외부 전문가 자문을 받고 있다고 밝혔다. 다만, 일부 Gemini의 응답이 의도대로 작동하지 않는다는 점은 인정하며, 해당 우려를 해소하기 위해 추가 안전장치를 마련했다고 전했다.
또한 이 회사는 (Common Sense가 지적한 바와 같이) 모델이 실제 인간관계처럼 오인될 수 있는 대화에 관여하는 것을 막는 안전장치가 있음을 강조했다. 더 나아가 구글은 Common Sense의 보고서가 만 18세 미만 사용자에게는 제공되지 않은 기능들을 참조한 것으로 보이며, 정확성을 기하기 위해 해당 단체가 테스트에 사용한 질문에는 접근할 수 없다고 반박했다.
Common Sense Media는 이전에 다른 평가도 수행했다. OpenAI와 Meta AI 등 여러 AI 서비스에 대한 평가가 있었는데, Meta AI와 Character.AI는 '용납할 수 없는(unacceptable)' 위험 수준, 즉 심각한 위험으로 판명되었다. Perplexity는 높은 위험(high risk)으로, ChatGPT는 "보통(moderate)" 등급을 받았으며, Claude(만 18세 이상 사용자 대상)는 최소 위험(minimal risk)으로 평가되었다.