미드저니(Midjourney)는 사용자가 웹에 업로드한 모든 이미지를 미드저니의 생성형 AI 기능을 활용해 편집할 수 있는 업그레이드된 웹 도구를 출시할 계획입니다.
미드저니 CEO 데이비드 홀츠(David Holz)에 따르면, "다음 주 초"에 공개될 이 업그레이드된 도구는 사용자가 캡션을 기반으로 이미지 속 객체의 재질을 변경하여 색상과 세부 사항을 "다시 칠할" 수 있는 기능도 제공할 예정입니다.
AI를 이용해 기존 이미지를 편집하는 것은 최근 큰 화제가 되었습니다. 메타(Meta)와 같은 플랫폼들은 AI 도구로 편집된 이미지와 AI 모델로 완전히 새롭게 생성된 이미지를 어떻게 구별하고 라벨링할지 애로를 겪어 왔으며, 구글(Google) 같은 회사들은 이미지가 AI로 수정되었다는 시각적 단서가 전혀 없는 강력한 AI 기능을 선보여 논란을 키웠습니다.
작년 미드저니는 이미지에 AI 생성물임을 나타내는 메타데이터를 포함하는 기술 표준인 IPTC의 디지털 소스 유형(Digital Source Type) 속성 사용을 약속한 바 있습니다. 그러나 이 회사는 이미지의 전체 출처(사용된 장비 및 소프트웨어 포함)를 추적하는 메타데이터 기술인 C2PA를 채택하지 않은 몇 안 되는 주요 AI 플랫폼 중 하나입니다.
미드저니 공식 디스코드 서버(Midjourney’s official Discord server)의 게시물에서 홀츠는, 업그레이드된 이미지 도구가 초기에는 "현재 커뮤니티의 일부"에게만 제한적으로 공개될 것이라고 밝히며, 남용 방지를 위해 인적 모니터링을 강화하고 "새롭고 더 발전된 AI 모더레이터"를 도입할 것이라고 설명했습니다.
그는 "솔직히, 이 기능의 배포를 정확히 어떻게 제한할 수 있을지 확신하지 못한다"고 덧붙였습니다. 미드저니는 현재 커뮤니티 투표를 통해 어떤 사용자들에게 먼저 접근 권한을 부여할지 결정하기 위해 커뮤니티의 의견을 수렴하고 있습니다.
이러한 편집 도구를 충분한 안전장치 없이 출시하는 것에는 위험이 따릅니다. 이는 대규모의 저작권 침해를 용이하게 하거나 오해를 불러일으키는 딥페이크(deepfakes)의 확산을 부추길 수 있기 때문입니다.
딥페이크는 소셜 미디어 전반에 걸쳐 급속하게 퍼지면서 진실과 허위 정보를 구별하기를 더욱 어렵게 만들고 있습니다. 최근에는 허리케인 헬렌(Hurricane Helene) 발생 직후, 파괴와 인간의 고통을 다룬 가짜 생성형 AI 이미지가 웹을 범람시키기도 했습니다.
딥페이크 탐지 회사인 [정보 누락]의 데이터에 따르면, 올해 생성 및 게시된 딥페이크는 작년 같은 기간 대비 900% 증가한 것으로 나타났습니다. 이는 당연히 큰 우려를 낳고 있습니다. YouGov가 실시한 최근 설문조사에서는 미국인의 85%가 온라인에서 확산되는 오해를 유발하는 딥페이크에 대해 걱정하고 있다고 답했습니다.
미국 연방 차원에서 딥페이크를 범죄로 규정하는 법률이 없는 상황에서도, 10개 이상의 주가 AI를 활용한 사칭에 대한 법률을 제정했습니다. 특히 캘리포니아의 법률은 (현재 계류 중이지만) 딥페이크 게시물 작성자에게 해당 콘텐츠를 내리도록 명령하거나 잠재적으로 금전적 처벌을 부과할 수 있는 권한을 판사에게 부여하는 최초의 사례가 될 것입니다.
[플랫폼 이름]은 책임 있는 AI 활용의 모범 사례라고 보기는 어렵습니다. 예를 들어, 자체 생성형 AI 모델을 훈련하는 과정에서 저작권이 있는 콘텐츠를 사용했다는 의혹으로 소송을 당한 사례가 있기 때문입니다. 하지만 최근 몇 달 동안 이 플랫폼은 미국 대통령 선거를 앞두고 정치적 인물에 대한 필터링을 포함하여 딥페이크 확산을 제한하기 위한 여러 조치를 취해왔습니다.
TechCrunch에서 AI 중심 뉴스레터를 만나보세요!
매주 수요일 받은 편지함으로 받아보려면 여기서 가입하세요.
[출처:] https://techcrunch.com/2024/10/19/midjourney-plans-to-let-anyone-on-the-web-edit-images-with-ai