생성형 AI는 학술 논문 위조, 아티스트 도용 등 수많은 잘 문서화된 오용 사례를 낳았습니다. 그리고 이제 이러한 오용은 국가 영향력 작전(state influence operations)에서도 나타나고 있는 것으로 보입니다.
매사추세츠에 본사를 둔 위협 인텔리전스 회사인 Recorded Future의 최근 보고서에 따르면, 최근 한 캠페인은 스타트업 ElevenLabs가 공개한 상업용 AI 음성 생성 제품의 도움을 받아 진행된 것으로 파악되었습니다.
이 보고서는 "작전 언더컷(Operation Undercut)"이라 명명된, 유럽의 우크라이나 지원에 역행하려는 러시아 연계 캠페인을 설명합니다. 해당 캠페인은 가짜 또는 오해를 유발하는 "뉴스" 영상에 AI 생성 음성 더빙을 주로 사용했습니다.
유럽 시청자를 겨냥한 이 영상들은 우크라이나 정치인들을 부패하다고 공격하거나, 우크라이나에 대한 군사 지원의 효용성에 의문을 제기하는 등의 주제를 다루었습니다. 예를 들어, 한 영상에서는 미군 전차에 적의 미사일을 튕겨내는 장치(jammers)조차 "미국 애브람스 전차를 구할 수 없다"고 주장하며, 첨단 장갑 차량을 우크라이나에 보내는 것이 무의미하다는 주장을 강화했습니다.
보고서에 따르면, 영상 제작자들은 콘텐츠의 신뢰도를 높이기 위해 ElevenLabs 기술을 포함한 음성 생성 AI를 "아마도" 활용했습니다. 이를 검증하기 위해 Recorded Future의 연구원들은 해당 클립을 ElevenLabs 자체의 AI 음성 분류기(AI Speech Classifier)에 제출했고, 일치하는 결과를 얻었습니다.
ElevenLabs는 논평 요청에 응하지 않았습니다. Recorded Future는 여러 상업용 AI 음성 생성 도구가 사용되었을 가능성을 언급했으나, ElevenLabs 외에는 다른 도구는 구체적으로 밝히지 않았습니다.
AI 음성 생성의 유용성은 이 영향력 캠페인을 주도한 측 자체에 의해 의도치 않게 노출되었습니다. 그들은 다소 부주의하게 "확연히 러시아 억양이 들리는" 실제 인간 목소리 더빙이 포함된 일부 영상을 공개했습니다. 이와 대조적으로, AI가 생성한 음성 더빙은 영어, 프랑스어, 독일어, 폴란드어 등 여러 유럽 언어로 나뉘어 있었으며 어떠한 외국 억양도 나타나지 않았습니다.
Recorded Future에 따르면, AI를 이용하면 오해를 불러일으키는 클립들을 영어, 독일어, 프랑스어, 폴란드어, 터키어 등 유럽에서 통용되는 여러 언어로 신속하게 배포하는 것이 가능했습니다 (참고로, 이 모든 언어는 ElevenLabs가 지원하는 언어군입니다).
Recorded Future는 해당 활동의 주체를 러시아에 기반을 둔 소셜 디자인 에이전시(Social Design Agency)로 지목했습니다. 미국 정부는 이 조직이 "유럽의 진정한 뉴스 기관을 사칭하는 60개 이상의 웹사이트 네트워크를 운영하고, 해당 가짜 웹사이트의 오해를 유발하는 콘텐츠를 확산시키기 위해 가짜 소셜 미디어 계정을 사용했다"는 이유로 이달(this March) 제재를 가했습니다. 당시 미국 국무부는 이 모든 활동이 "러시아 연방 정부를 대신하여" 이루어졌다고 밝힌 바 있습니다.
Recorded Future는 이 캠페인이 유럽의 여론에 미친 전반적인 영향은 미미했다고 결론 내렸습니다.
이번 사태가 ElevenLabs 제품이 오용 의혹을 받은 첫 사례는 아닙니다. 한 음성 사기 탐지 회사에 따르면, 이 회사는 ElevenLabs 기술이 2024년 1월 예비 선거 기간 동안 유권자들에게 투표에 가지 말라고 촉구하는 조 바이든 대통령을 사칭한 로보콜에 사용되었음을 지적했습니다. 이에 대응하여 ElevenLabs는 정치인의 목소리를 자동으로 차단하는 등의 새로운 안전 기능을 출시했다고 밝혔습니다.
ElevenLabs는 "승인되지 않았거나, 해로하거나, 기만적인 사칭"을 금지하며, 자동화된 모더레이션과 인간 모더레이레이션을 포함한 다양한 도구를 사용하여 이를 시행하고 있습니다.
ElevenLabs는 2022년 설립된 이후 폭발적인 성장을 거듭했습니다. 최근 ARR(연간 반복 매출)을 2,500만 달러에서 8,000만 달러로 늘렸으며, TechCrunch는 이 회사가 1년도 채 안 된 시점에 이미 언급되었으며 곧 30억 달러 규모로 평가받을 수 있다고 이전에 보도한 바 있습니다. 투자자들로는 Andreessen Horowitz와 전 Github CEO Nat Friedman 등이 있습니다.