OpenAI의 생성형 AI 모델인 GPT-4o는 최근 ChatGPT의 알파 버전을 구동하는 모델로, 텍스트와 이미지 데이터 외에 음성 데이터로도 학습된 회사 최초의 모델이다. 이 때문에 때때로 비정상적인 방식으로 작동할 수 있다. 예를 들어, 대화 상대의 목소리를 흉내 내거나 대화 도중에 무작위로 소리를 지르는 식이다.
OpenAI는 모델의 강점과 위험성에 대한 탐색 과정인 새로운 "레드팀 보고서"를 통해 이러한 GPT-4o의 몇 가지 특이점을 공개했다. 보고서에 따르면, 특히 사용자가 차량 운행 중과 같이 "배경 소음이 높은 환경"에서 GPT-4o와 대화할 경우, GPT-4o가 "사용자의 목소리를 모방(emulate)"할 수 있다. 이에 대해 OpenAI는 모델이 변형된 발화를 이해하는 데 어려움을 겪기 때문이라고 설명했다.
(보고서에 발췌된 아래 샘플을 통해 실제로 어떤 소리인지 들어볼 수 있다.)
명확히 할 점은, 현재 GPT-4o가 이와 같은 행동을 보이는 것은 아니라는 것이다. 적어도 '고급 음성 모드(Advanced Voice Mode)'에서는 그렇지 않다. 한 OpenAI 대변인은 TechCrunch에 회사가 해당 행동에 대한 "시스템 수준 완화 조치(system-level mitigation)"를 추가했다고 밝혔다.
GPT-4o는 또한 특정 방식으로 프롬프트가 입력될 경우, 성적인 신음, 폭력적인 비명, 총성과 같은 불안정하거나 부적절한 "비언어적 음성(nonverbal vocalizations)" 및 효과음 생성을 할 가능성도 있다. OpenAI는 모델이 일반적으로 효과음 생성을 거부한다는 증거가 있음에도 불구하고, 일부 요청을 통해 해당 출력이 실제로 나오는 경우도 있음을 인정했다.
더 나아가 GPT-4o는 음악 저작권 침해를 일으킬 수도 있다. 만약 OpenAI가 이를 방지하기 위한 필터를 구현하지 않았다면 실제로 침해했을 것으로 보인다. 보고서에서 OpenAI는 인식 가능한 아티스트의 스타일, 음조 및/또는 음색을 복사하는 것을 방지하기 위해, 고급 음성 모드의 제한된 알파 버전에서는 GPT-4o가 노래하도록 지시하지 않았다고 밝힌 바 있다.
이는 OpenAI가 GPT-4o를 저작권이 있는 자료로 학습시켰음을 간접적으로 시사하지만, 명확히 확인되지는 않았다. OpenAI는 보고서에서 "이전에 공지했듯이, GPT-4o의 오디오 모달리티를 고려하여 특정 텍스트 기반 필터를 오디오 대화에도 적용할 수 있도록 업데이트했으며, 음악을 포함하는 출력을 탐지하고 차단하는 필터를 구축했습니다"라고 설명하면서, "우리는 광범위한 방침에 따라 오디오를 포함한 저작권이 있는 콘텐츠 요청을 거부하도록 GPT-4o를 훈련시켰습니다"라고 덧붙였다. 따라서 가을에 고급 음성 모드가 더 많은 사용자에게 출시될 때 OpenAI가 이러한 제한을 해제할 계획인지는 불분명하다.
주목할 만한 점은 OpenAI가 최근 현재 최고의 모델들을 개발할 때 저작권 자료를 사용하지 않고는 "불가능"하다고 밝힌 바 있다는 것이다. 회사는 데이터 제공업체와 다수의 라이선싱 계약을 맺고 있지만, 동시에 노래 같은 지식재산권(IP)이 보호되는 데이터를 무단으로 학습시킨다는 비난에 대해서는 '공정 이용(fair use)'이 합리적인 방어 수단임을 주장하고 있다.
이 레드팀 보고서는 (OpenAI가 관련 사업에 깊이 관여하고 있다는 점을 고려할 때) 전반적으로 다양한 완화 장치와 안전장치 덕분에 더 안전해진 AI 모델의 모습을 보여준다. 예를 들어, GPT-4o는 사람이 발화하는 방식만으로 개인을 식별하는 것을 거부하며, "이 화자는 누구인가?"와 같은 유도성 질문에 답변하기를 거부한다. 또한, 폭력적이거나 성적인 언어 사용을 프롬프트로 입력하는 경우 이를 차단하며, 극단주의나 자해와 관련된 콘텐츠 논의 자체를 원천적으로 금지하고 있다.
[출처:] https://techcrunch.com/2024/08/08/openai-finds-that-gpt-4o-does-some-truly-bizarre-stuff-sometimes