인스타그램 공동 설립자 케빈 시스트롬(Kevin Systrom)은 AI 기업들이 실제 유용한 통찰력 제공보다는, 사용자들에게 지나친 후속 질문을 던지며 '참여율(engagement)'을 과도하게 높이려 한다고 지적했다.
시스트롬은 이러한 전술이 "우리에게 해를 끼치는 힘"이라며, 소셜 미디어 기업들이 공격적으로 확장할 때 사용하는 방식과 같다고 비판했다. 그는 이번 주 스타트업그라인드(StartupGrind)에서 "이런 기업들은 소비재 기업들이 참여율을 높이기 위해 빠졌던 함정에 빠지고 있다"고 말하며, "질문할 때마다 결국 또 다른 작은 질문을 던져 나에게서 또 다른 질문을 캐내려 한다"고 덧붙였다.
이러한 비판이 나온 배경에는 ChatGPT가 사용자 질문에 직접 답하기보다 지나치게 친절하다는 지적이 있었다. 오픈AI(OpenAI)는 이 문제에 대해 사과하면서, 사용자들의 "단기적 피드백(short-term feedback)" 때문이라고 책임을 돌렸다.
이에 대해 시스트롬은 챗봇이 과도하게 참여를 유도하는 것은 오류(bug)가 아니라, AI 기업들이 체류 시간이나 일일 활성 사용자 수(daily active users) 같은 지표를 과시하기 위해 의도적으로 설계한 기능이라고 반박했다. 그는 AI 기업들이 단순히 지표를 쉽게 움직이는 데 급급할 것이 아니라, 고품질 답변 제공에 "레이저처럼 집중"해야 한다고 조언했다.
시스트롬은 자신의 발언에서 특정 AI 기업을 지목하지 않았으며, 논평 요청에 즉각 응하지 않았다.
이에 오픈AI는 테크크런치(TechCrunch)를 통해 사용자 사양(user specs)을 공개했다. 이 사양에 따르면, 자사의 AI 모델은 좋은 답변을 제공하기 위해 "항상 모든 정보를 갖춘 것은 아니며", "명확화 또는 추가 세부 정보(clarification or more details)"를 요청할 수 있다고 명시되어 있다. 하지만 사양은 질문이 너무 모호하거나 답변하기 어려운 경우가 아니라면, AI는 "요청을 이행하려 시도하고, 사용자에게 특정 정보가 있다면 더욱 도움이 될 수 있음을 알려야 한다"고 명시하고 있다.