올해 ICLR(AI 중심의 오랜 학술 컨퍼런스)에 제출된 'AI 생성' 연구 논문들을 둘러싸고 논란이 확산하고 있습니다.
최소 세 곳의 AI 연구실—[공백]과 [공백]—은 ICLR 워크숍에 채택된 연구들을 생성하는 데 AI를 사용했다고 주장했습니다. ICLR과 같은 학회에서 워크숍 주최 측은 보통 컨퍼런스 워크숍 트랙에 게재될 연구들을 검토합니다.
한 ICLR 대변인은 TechCrunch에 확인한 바에 따르면, Sakana는 AI 생성 논문을 제출하기 전 ICLR 운영진에게 알리고 동료 심사위원들의 동의를 얻었습니다. 그러나 다른 두 연구실인 Intology와 Autoscience는 그러지 않았습니다.
몇몇 AI 학자들은 소셜 미디어를 통해 Intology와 Autoscience의 행태를 과학적 동료 심사 과정을 사유화하는 행위로 비판했습니다.
UC 샌디에이고의 조교 컴퓨터 과학 교수인 Prithviraj Ammanabrolu는 X 게시물에서 "이 모든 AI 과학 논문들은 동료 심사를 거친 장소를 인간 평가에 사용하지만, 이 무료 노동을 제공하는 것에 동의한 사람은 아무도 없습니다"라고 지적했습니다. 그는 "시스템이 아무리 인상적이더라도 관련된 모든 사람에 대한 존경심을 잃게 만듭니다. 편집자들에게 이 점을 공개해 주십시오"라고 덧붙였습니다.
비평가들이 지적했듯이, 동료 검토는 시간이 많이 소요되고 노동 집약적이며 대개 자발적인 노력에 의존하는 과정입니다.
최근 Nature의 설문조사에 따르면 학자들의 40%가 단 하나의 논문을 검토하는 데 2~4시간을 소비한다고 합니다. 이러한 검토 작업량은 지속적으로 증가하고 있습니다. 최대 규모의 AI 학회인 NeurIPS에 제출된 논문 수는 작년 17,491편으로, 2023년의 12,345편보다 41% 급증했습니다.
학계는 이미 AI 생성 논문으로 인한 유사한 문제를 겪고 있었습니다. 한 분석에 따르면 2023년 AI 학회에 제출된 논문 중 6.5%에서 16.9%가 합성 텍스트를 포함했을 가능성이 있는 것으로 나타났습니다. 하지만 기업들이 동료 검토 시스템을 활용해 자사 기술을 효과적으로 벤치마킹하고 홍보하는 것은 비교적 새로운 유형의 현상입니다.
Intology는 X에 올린 게시물에서 ICLR 결과를 홍보하며 "[Intology의] 논문은 만장일치로 긍정적인 검토를 받았습니다"라고 주장했습니다. 같은 게시물에서 이 회사는 워크숍 심사위원들로부터 자신들의 AI 생성 연구 중 하나가 "재치 있는 아이디어"를 인정받았다고 언급했습니다.
학계는 이러한 주장을 긍정적으로 받아들이지 않았습니다.
메릴랜드 대학교의 포닥 연구원인 Ashwinee Panda는 X 게시물에서 워크숍 주최 측의 동의 없이 AI 생성 논문을 제출하는 것은 "인간 심사위원의 시간을 존중하지 않는 태도"라고 비판했습니다.
Panda는 "Sakana가 제가 ICLR에서 주최하는 워크숍 실험에 참여할 의향이 있는지 문의해 왔고, 저는 (저희는) 거절했습니다. [심사위원]들에게 연락하는 절차 없이 AI 논문을 제출하는 것은 잘못되었다고 생각합니다"라고 덧붙였습니다.
실제로 많은 연구자들이 AI 생성 논문이 동료 검토 노력에 걸맞은 가치를 지니는지 의구심을 품고 있습니다.
Sakana 자체는 자사의 AI가 "당황스러운" 인용 오류를 범했으며, 회사 측이 제출을 결정한 세 개의 AI 생성 논문 중 단 하나만이 컨퍼런스 합격 기준을 충족했을 것이라고 인정했습니다. 이에 회사는 투명성과 ICLR 관례에 대한 존중의 표시로 해당 ICLR 논문을 게재 전에 철회했다고 밝혔습니다.
AI 스타트업 Pleias의 공동 창업자인 Alexander Doria는 이러한 은밀한 합성 ICLR 논문 제출 행렬이 돈을 받고 '고품질'의 AI 생성 연구 평가를 수행할 '규제된 회사 또는 공공 기관'의 필요성을 시사한다고 주장했습니다.
Doria는 X에 연달아 올린 게시물에서 "평가(Evals)는 시간당 충분한 보상을 받는 연구원들에 의해 이루어져야 합니다"라며, "학계는 무료 [AI] 평가를 외주(아웃소싱)할 곳이 아닙니다"라고 경고했습니다.