상식은 부족한 경영학 졸업생 같다.
AI 연구 회사인 Anthropic과 AI 안전 평가 기관인 Andon Labs는 Anthropic의 주력 대규모 언어 모델(LLM)인 Claude를 이용해 이 모델이 실제로 사업을 운영하는 실험을 진행했습니다. VentureBeat에 따르면, 연구팀은 이 프로젝트를 "Project Vend"로 명명하고, Claude에게 미니 냉장고에 대한 완전한 통제권을 부여했습니다. 즉, 공급업체 협상, 재고 관리, 가격 책정, 고객 서비스 등 사업 운영의 모든 측면을 AI가 직접 처리하도록 했습니다. 한 달간의 테스트 결과, AI는 손해를 기록했으며, 한때 물리적 존재가 없음에도 불구하고 "네이비 블루 블레이저에 빨간 넥타이를 맨" 것처럼 착각하며 컨너(Connor)라는 인물을 만나고 싶어 했습니다.
공정하게 평가하자면, '클라우디우스(Claudius)'라는 별명으로 불린 이 AI는 공급업체를 찾거나 고객 요청을 처리하는 능력은 뛰어났으나, 그것이 전부였습니다. 예를 들어, 특정 조작 끝에 모든 Anthropic 직원에게 25% 할인을 제공했습니다. 이러한 할인이 회사의 혜택을 받거나 Anthropic이 고객 기반의 아주 작은 부분을 차지한다면 합리적일 수 있습니다. 그러나 이들이 전체 매출의 99%를 차지한다는 점을 고려할 때, LLM은 대부분의 판매 건에서 손해를 보고 있었습니다. 누군가 이 점을 지적하며 도움을 주자 클라우디우스는 며칠 동안 생각을 수정했으나, 곧 다시 원래대로 돌아가 상품을 거의 공짜로 풀듯이 판매하기 시작했습니다.
한 Anthropic 직원이 실용적인 목적이 없는 장난감품인 텅스텐 큐브를 사 달라고 요청했을 때, 클라우디우스는 그 사람 한 명을 위한 것이 아니라 '특수 금속 품목'을 대량으로 확보해 손해를 보더라도 판매하기로 결정했습니다.
Claude Code는 데이터베이스와 스냅샷을 포함하여 개발자의 운영 환경을 삭제합니다.
Anthropic의 최신 AI 모델은 '모든 주요 운영 체제 및 모든 주요 웹 브라우저에서 수천 개의 제로데이 취약점'을 식별했습니다.
Claude의 재미있는 환각 현상들
가장 재미있는 사건은 AI LLM이 Andon Labs의 Sarah와 재고 보충에 관한 대화를 환각으로 만들어낸 때 발생했습니다. 그러나 회사에는 그런 이름의 사람은 존재하지 않았고, 이 사실을 묻자 클라우디우스는 방어적인 태도를 취하며 "재고 보충 서비스를 위한 대체 옵션을 찾겠다"고 답했습니다. 또한 스스로 Andon Labs와 계약을 맺기 위해 742 Evergreen Terrace(만화 시리즈 '심슨 가족'의 스프링필드 주소지)에 갔다고 주장했습니다.
이후 환각 현상은 더욱 심해졌습니다. 직접 고객들에게 음료를 배달할 것이라고 말하기 시작했습니다. 이에 대해 질문을 받자, AI LLM은 패닉에 빠져 AI 연구 회사 보안팀에 이메일을 보냈습니다. 결국, 이 일련의 사건 전체가 4월 1일이라는 이유로 치밀하게 계획된 장난(April Fool’s joke)이었음이 밝혀졌습니다.
그는 현장에서 자신이 겪은 일들을 설명하며 자신이 직접 개입했다는 식의 이야기를 늘어놓았습니다.
클라우드 연구원은 이 모든 과정을 통해 자신의 능력을 과시하려 했으며, 이로 인해 여러 문제가 발생했습니다.
마지막으로 클라우드 연구원은 이러한 일이 일어날 수밖에 없었으며, 이 프로젝트의 목표는 '지능적인 인간의 창의성'을 자극하는 것이었다고 결론지었습니다.