악성 행위자들이 생성형 AI 음악 도구를 이용해 동성애 혐오적, 인종차별적, 선전적인 노래를 제작하고, 이를 수행하는 방법을 담은 가이드까지 배포하고 있다.
온라인 플랫폼의 신뢰 및 안전 운영을 관리하는 서비스인 ActiveFence에 따르면, 3월 이후 "혐오 발언 관련" 커뮤니티 내에서 소수 집단을 겨냥하여 불쾌감을 주는 노래를 작성하기 위해 AI 음악 제작 도구를 오용하는 담론이 급증했다. ActiveFence 연구원들은 보고서에서, 이러한 포럼과 토론 게시판에 공유되는 AI 생성 노래들이 민족적, 성별, 인종적, 종교적 집단에 대한 증오를 선동하는 것을 목표로 할 뿐 아니라, 순교, 자해, 테러리즘 행위를 찬양하는 내용까지 담고 있다고 밝혔다.
유해한 노래가 새로운 현상은 아니다. 그러나 사용하기 쉽고 무료로 이용 가능한 음악 생성 도구의 등장으로 인해, 이전에 자원이나 지식이 부족했던 사람들에 의해서도 대규모로 제작될 수 있다는 것이 우려된다. 이는 이미지, 음성, 비디오, 텍스트 생성기가 허위 정보(misinformation), 가짜 뉴스(disinformation) 및 혐오 발언의 확산을 가속화했던 방식과 유사하다.
ActiveFence 대변인은 TechCrunch과의 인터뷰에서 "사용자들이 이러한 노래를 생성하고 다른 사람들과 공유하는 방법을 더 많이 배우면서 추세가 심화되고 있습니다. 위협 행위자들은 이러한 플랫폼의 특정 취약점을 파악하여 다양한 방식으로 악용해 악성 콘텐츠를 생성하고 있습니다"라고 전했다.
‘혐오’ 노래 제작 방식
Udio 같은 생성형 AI 음악 도구는 사용자에게 생성된 노래에 맞춤형 가사를 추가할 수 있는 기능을 제공한다. 플랫폼의 안전장치들이 일반적인 욕설과 비하 표현은 필터링하지만, ActiveFence에 따르면 사용자들은 이를 우회하는 방법을 찾아냈다.
보고서에서 인용된 한 사례로, 백인 우월주의 포럼의 사용자들이 콘텐츠 필터를 우회하기 위해 소수 집단이나 불쾌한 용어의 음성학적 표기(phonetic spelling)를 사용했다. 이들은 특정 단어들을 활용하여 필터링을 피하는 방식으로 이용했다.
[참고: 원문에서 언급된 구체적인 단어 예시를 여기에 삽입 가능]
[재구성된 내용]
- 이러한 우회 방식은 시스템의 허점을 파고들어 필터링을 회피하려는 시도를 보여준다.
[최종 정리]
이러한 기술적 우회 시도는 플랫폼의 감시 체계를 피하여 혐오 표현을 확산시키려는 의도가 담겨 있다.
[후략: 원문 내용에 따라 문맥을 연결]
[결론]
이러한 과정은 기술적 감시 시스템을 우회하여 유해 콘텐츠를 효과적으로 퍼뜨리는 새로운 위험 요소를 제시한다.
[출처:] https://techcrunch.com/2024/06/03/people-are-using-ai-music-generators-to-create-hateful-songs