이달 초, 음악 교육 플랫폼의 설립자인 에이드리언 홀로바티는 몇 주 동안 그를 괴롭히던 미스터리를 해결했다. 해당 사이트에는 명백히 ChatGPT 세션으로 보이는 이상한 이미지들이 계속 업로드되고 있었기 때문이다.
문제를 해결한 후, 그는 ChatGPT가 회사의 가장 큰 '과대광고꾼(hype man)' 중 하나가 되었음을 깨달았다. 하지만 동시에, ChatGPT가 앱의 실제 기능에 대해 사용자들에게 거짓 정보를 전달하고 있다는 것도 알게 되었다.
홀로바티는 인기 있는 파이썬 웹 개발 프레임워크인 오픈 소스 Django 프로젝트의 창시자 중 한 명으로 가장 잘 알려져 있다(비록 2014년에는 프로젝트 관리에서 은퇴했다). 그는 테크크런치(TechCrunch)와의 인터뷰에서 2012년에 사운드슬라이스(Soundslice)를 출시했으며, 이 회사는 "당당하게 자체 자금으로 운영되고 있다(proudly bootstrapped)"고 밝힌 바 있다. 현재 그는 아티스트이자 창립자로서 음악 활동에 전념하고 있다.
사운드슬라이스는 학생과 교사가 사용하는 음악 교육용 앱이다. 이 앱은 사용자가 음표를 어떻게 연주해야 하는지 안내하는, 악보 기호와 동기화된 비디오 플레이어로 잘 알려져 있다.
또한, '악보 스캐너(sheet music scanner)'라는 기능을 제공하는데, 이를 통해 사용자는 종이 악보 이미지를 업로드할 수 있다. AI를 활용해 이 이미지를 악보 기호가 완전하게 구현된 상호작용형 악보로 자동 변환한다.
그는 어떤 문제가 발생하는지, 어디를 개선해야 할지 알아보기 위해 이 기능의 에러 로그를 면밀히 살폈다.
바로 그곳에서 업로드된 ChatGPT 세션들을 보기 시작했다.
이 세션들은 엄청난 양의 에러 로그를 생성하고 있었다. 그것은 악보 이미지가 아니라, 단어와 ASCII 타블라처(tablature)라는 기호 상자로 구성된 이미지들이었다. ASCII 타블라처는 일반 키보드를 이용해 사용하는, 기본적인 텍스트 기반 기타 기보법 시스템이다(예를 들어, 일반적인 QWERTY 키보드에는 높은음자리표 키가 없다).
홀로바티에 따르면, 이러한 ChatGPT 세션 이미지의 양이 회사에 저장 비용을 발생시키거나 앱의 대역폭을 압박할 정도는 아니었다. 그는 블로그 게시물에서 이 상황에 대해 기록하며 당황스러움을 숨기지 못했다.
"저희 스캐닝 시스템은 이러한 스타일의 기보법을 지원하도록 설계되지 않았습니다. 그런데 왜 이렇게 많은 ASCII 타브 ChatGPT 스크린샷에 폭격당하고 있었을까요? 저 자신도 직접 ChatGPT를 사용해 보기 전까지는 몇 주 동안 미스터리였습니다."
그는 ChatGPT가 사용자들에게 Soundslice 계정을 열고 채팅 세션 이미지를 업로드하기만 하면 해당 음악을 들을 수 있다고 알려주는 것을 목격했다. 하지만 실제로는 불가능했다. 이미지를 업로드한다고 해서 자동으로 오디오 음표로 변환되지 않았다.
그는 새로운 문제에 직면했다. "주요 문제는 명성상의 문제였습니다. 신규 Soundslice 사용자들이 잘못된 기대를 가지고 찾아왔던 것입니다. 우리는 실제로는 할 수 없는 것을 할 수 있을 것이라고 자신 있게 들었기 때문입니다."라고 그는 테크크런치에서 설명했다.
그와 팀원들은 몇 가지 선택지를 논의했다. 사이트 곳곳에 "ChatGPT 세션을 들을 수 있는 음악으로 변환할 수는 없습니다"와 같은 면책 조항을 붙일지, 아니면 자신들이 한 번도 지원할 것이라고 고려해 본 적 없는 이 독특한 음악 표기법을 스캐너 기능에 추가할지 여부였다.
그는 후자를 선택했다.
"제 마음은 복잡합니다. 사람들을 돕는 도구를 추가하는 것은 기쁘지만, 마치 억지로 손이 쓰여진 기분이 듭니다. 우리가 정말로 잘못된 정보에 대응하여 기능을 개발해야 할까요?"라고 그는 적었다.
또한 그는 이것이 ChatGPT가 한 가지에 대해 계속해서 잘못된 정보를 반복하면서, 회사가 기능 개발을 해야 했던 첫 번째 사례가 아닐까 의문을 품기도 했다.
해커뉴스(Hacker News)의 동료 개발자들은 이 문제에 대해 흥미로운 시각을 제시했다. 그들 중 몇몇은 이것이 열성적인 인간 영업 사원이 잠재 고객에게 온갖 약속을 하고 개발자들에게 새로운 기능 개발을 강요하는 것과 다를 바 없다고 말했다.
이에 홀로바티는 "아주 적절하고 재미있는 비유인 것 같습니다!"라며 동의했다.