선도적인 AI 연구원인 얀 라이크(Jan Leike)는 이달 초 OpenAI를 사임하며 회사 AI 안전 접근 방식에 대해 공개적으로 비판한 바 있다. 라이크는 OpenAI의 경쟁사인 Anthropic에 합류하여 새로운 '슈퍼얼라인먼트(superalignment)' 팀을 이끌게 되었다.
라이크는 X에 올린 게시물을 통해, Anthropic에서의 자신의 팀이 AI 안전 및 보안의 여러 측면, 특히 "확장 가능한 감독(scalable oversight)", "약한-강한 일반화(weak-to-strong generalization)", 그리고 자동화된 정렬 연구(automated alignment research)에 집중할 것이라고 밝혔다.
[Jan Leike의 X 게시물 내용]
I'm excited to join to continue the superalignment mission! My new team will work on scalable oversight, weak-to-strong generalization, and automated alignment research. If you're interested in joining, my dms are open. — Jan Leike (@janleike) (2024년 5월 28일)
이 사안에 정통한 한 소식통은 테크크런치(TechCrunch)에 따르면, 라이크는 Anthropic의 최고 과학 책임자(chief science officer)인 재러드 카플란(Jared Kaplan)에게 직접 보고하게 될 것이며, 현재 Anthropic에서 대규모 AI의 행동을 예측 가능하고 바람직한 방식으로 제어하는 기술인 '확장 가능한 감독'을 연구하던 연구원들은 라이크의 팀이 구축됨에 따라 라이크에게 보고 체계를 옮기게 될 것이라고 전했다.
[Sam Bowman의 X 게시물 내용]
🪩 Woo! 🪩 Jan's led some seminally important work on technical AI safety and I'm thrilled to be working with him! We'll be leading twin teams aimed at different parts of the problem of aligning AI systems at human level and beyond. https://t.co/aqSFTnOEG0 — Sam Bowman (@sleepinyourhat) (2024년 5월 28일)
이러한 맥락에서, 라이크의 팀이 수행할 임무는 OpenAI가 이전에 운영했던 슈퍼얼라인먼트 팀과 유사한 목표를 지니는 것으로 보인다. 라이크가 공동으로 이끌었던 슈퍼얼라인먼트 팀은 향후 4년 내에 초지능 AI(superintelligent AI)를 제어하는 핵심 기술적 난제를 해결한다는 야심 찬 목표를 가졌으나, 종종 OpenAI의 리더십 구조에 의해 어려움을 겪는 경우가 많았다.
한편, Anthropic은 그동안 자신들을 OpenAI보다 안전성(safety)에 더 초점을 맞춘 회사로 포지셔닝해 왔다. Anthropic의 CEO인 다리오 아마데이(Dario Amodei)는 과거 OpenAI의 연구 부사장(VP of research)이었으며, 회사 방향성—특히 OpenAI의 상업적 영역 확장—을 둘러싼 이견으로 OpenAI를 떠났다고 알려져 있다. 아마데데이는 OpenAI의 전 정책 책임자 잭 클라크(Jack Clark)를 포함한 여러 전 OpenAI 직원을 데리고 Anthropic을 설립했다.
[출처:] https://techcrunch.com/2024/05/28/anthropic-hires-former-openai-safety-lead-to-head-up-new-team