구글이 개발자들이 생성형 AI 모델로 작성된 텍스트에 워터마크를 삽입하고 이를 탐지할 수 있게 해주는 기술인 SynthID Text를 일반에 공개합니다.
SynthID Text는 AI 플랫폼 및 구글이 업데이트한 '책임감 있는 생성형 AI 툴킷(Responsible GenAI Toolkit)'에서 다운로드할 수 있습니다.
구글은 X(구 트위터) 게시물을 통해 "SynthID Text 워터마킹 도구를 오픈 소싱합니다"라고 밝혔습니다. 이어 "개발자와 기업 모두에게 무료로 제공되며, AI 생성 콘텐츠를 식별하는 데 도움이 될 것입니다"라고 덧붙였습니다.
그렇다면 SynthID Text는 구체적으로 어떻게 작동할까요?
텍스트 생성 모델은 "가장 좋아하는 과일은 무엇인가요?"와 같은 프롬프트를 받으면, 다음으로 어떤 "토큰(token)"이 가장 가능성이 높은지 순차적으로 예측합니다. 토큰은 단일 문자 또는 단어일 수 있으며, 생성 모델이 정보를 처리하는 데 사용하는 기본 구성 요소입니다. 모델은 가능한 모든 토큰에 점수를 할당하는데, 이 점수는 해당 토큰이 출력 텍스트에 포함될 확률을 백분율로 나타냅니다. 구글에 따르면, SynthID Text는 "토큰이 생성될 확률(likelihood of tokens being generated)"을 조절함으로써 이 토큰 분포에 추가 정보를 삽입합니다.
구글은 블로그 게시물에서 "모델의 단어 선택 최종 점수 패턴과 조정된 확률 점수를 결합한 것이 워터마크로 간주됩니다"라고 설명했습니다. 이어 "이러한 점수 패턴은 워터마크 처리된 텍스트와 처리되지 않은 텍스트의 예상 점수 패턴과 비교되어, SynthID가 해당 텍스트가 AI 도구에 의해 생성되었는지, 아니면 다른 출처에서 왔는지를 감지하는 데 도움을 줍니다"라고 덧붙였습니다.
구글은 이번 봄부터 자사 모델에 통합된 SynthID Text가 텍스트 생성의 품질, 정확성, 속도에 영향을 주지 않으며, 잘려 나가거나(cropped), 의역되었거나(paraphrased), 수정된 텍스트에서도 작동한다고 주장합니다.
다만 구글은 자체 워터마킹 접근 방식의 한계점도 인정했습니다.
예를 들어, SynthID Text는 짧은 텍스트, 다른 언어에서 재작성되거나 번역된 텍스트, 또는 사실적 질문에 대한 응답에서는 성능이 떨어지는 경향이 있습니다. 구글은 "사실적 프롬프트에 응답할 경우, 사실적 정확도를 훼손하지 않으면서 토큰 분포를 조정할 수 있는 기회가 적습니다"라고 설명하며, "여기에는 '프랑스의 수도는 무엇인가요?'와 같은 프롬프트나 '윌리엄 워즈워스의 시를 낭독해 주세요'처럼 변형이 거의 또는 전혀 예상되지 않는 검색어 질의도 포함됩니다"라고 설명했습니다.
구글만이 AI 텍스트 워터마킹 기술을 개발하는 유일한 기업은 아닙니다. OpenAI는 수년 동안 워터마킹 방법을 연구해 왔으나, 기술적·상업적 고려 사항으로 인해 출시를 지연해 왔습니다.
텍스트 워터마킹 기술이 널리 채택된다면, 일반적인 문체로 작성된 에세이와 논문을 오인하여 잘못 표시하는 부정확하지만 점점 인기를 얻고 있는 'AI 감지기'의 흐름을 역전시키는 데 도움을 줄 수 있습니다. 그러나 중요한 질문은, 이 기술이 얼마나 광범위하게 채택될 수 있는지, 그리고 여러 기관이 제안하는 표준 중 어느 것이 우위를 점할 수 있을지 여부입니다.
개발자들에게 법적 강제력을 부여하는 메커니즘이 곧 생길 수 있습니다. 중국 정부는 AI 생성 콘텐츠의 의무 워터마킹을 도입했으며, 캘리포니아주에서도 유사한 조치가 논의되고 있습니다.
(이하 생략)
[출처:] https://techcrunch.com/2024/10/23/google-releases-tech-to-watermark-ai-generated-text