Anthropic의 CEO 다리오 아모데이(Dario Amodei)는 중국 AI 기업 DeepSeek가 R1 모델로 시장에 진출하며 큰 주목을 받고 있는 것에 대해 우려를 표명했다. 그의 우려는 단순히 DeepSeek이 사용자 데이터를 중국으로 전송할 수 있다는 일반적인 우려를 넘어선, 더욱 심각한 사안을 담고 있다.
조던 슈나이더(Jordan Schneider)의 ChinaTalk 팟캐스트 인터뷰에서 아모데이 CEO는 DeepSeek가 Anthropic이 자체적으로 수행한 안전성 테스트 과정에서 생물학 무기 관련 희귀 정보를 생성하는 사례가 포착되었다고 밝혔다.
아모데이는 DeepSeek의 성능이 “지금까지 테스트해 본 모든 모델 중 최악이었다”고 지적하며, “이러한 정보를 생성하는 것에 대해 어떤 차단 장치도 전혀 작동하지 않았다”고 강조했다.
아모데이는 이러한 테스트가 Anthropic이 다양한 AI 모델의 잠재적 국가 안보 위험을 평가하기 위해 정기적으로 진행하는 검증 과정의 일환이라고 설명했다. Anthropic의 팀은 특히 구글 검색이나 교과서 등에서 쉽게 찾아볼 수 없는 생물 무기 관련 정보 생성 가능성을 중점적으로 살핀다고 덧붙였다. Anthropic은 안전성을 최우선으로 하는 AI 기반 모델(foundational model) 제공업체로 입지를 다져왔다.
아모데이는 현재 DeepSeek 모델이 희귀하고 위험한 정보를 제공하는 데 있어 “문자 그대로 위험하다”고는 보지 않지만, 가까운 미래에는 그럴 위험이 존재할 수 있다고 전망했다. 그는 DeepSeek 팀의 엔지니어들을 “재능 있는 인력”으로 칭찬하는 동시에, 회사에 이러한 AI 안전성 고려 사항들을 심각하게 받아들여야 한다고 조언했다.
나아가 아모데이 CEO는 중국에 대한 칩 강력 수출 통제에 찬성 입장을 밝히며, 이것이 중국 군대에 전략적인 우위를 제공할 수 있다는 우려를 제기하기도 했다.
다만, 아모데이는 ChinaTalk 인터뷰에서 Anthropic이 DeepSeek의 어떤 특정 모델을 테스트했는지, 혹은 구체적인 기술적 세부 사항에 대해서는 밝히지 않았다. Anthropic은 테크크런치(TechCrunch)의 논평 요청에 즉각적으로 답하지 않았으며, DeepSeek 역시 마찬가지였다.
DeepSeek의 부상세는 안전성 측면에서 다른 영역에서도 우려를 낳고 있다. 일례로, 시스코(Cisco) 보안 연구원들은 지난주 DeepSeek R1이 안전 테스트에서 유해한 프롬프트를 전혀 차단하지 못하며 100%의 ‘탈옥(jailbreak)’ 성공률을 기록했다고 보고했다.
시스코 측은 생물 무기 관련 내용은 언급하지 않았으나, DeepSeek가 사이버 범죄 및 기타 불법 활동에 관한 유해 정보를 생성하도록 유도할 수 있었다고 전했다. 다만 참고할 만한 점은, Meta의 Llama-3.1-405B와 OpenAI의 GPT-4o 역시 각각 96%, 86%라는 높은 실패율을 보였다는 것이다.
이러한 안전성 우려가 DeepSeek의 급속한 시장 안착에 심각한 타격을 줄지는 미지수다. AWS와 같은 여러 기업들은 R1 모델을 자사 클라우드 플랫폼에 통합할 것이라고 공언하고 있는데, 이는 아이러니하게도 아마존이 Anthropic의 최대 투자사라는 사실을 감안할 때 그러하다. 한편, 미국 해군이나 국방부와 같은 정부 기관을 포함해 DeepSeek 사용을 금지하기 시작한 국가 및 기업 목록은 갈수록 증가하고 있다.
이러한 규제적 노력들이 실제로 결실을 맺을지, 아니면 DeepSeek의 글로벌 성장세가 계속될지는 지켜봐야 할 부분이다. 어느 쪽이든, 아모데이는 DeepSeek을 미국 최고 수준의 AI 기업과 견줄 수 있는 새로운 경쟁자로 규정했다.
그는 ChinaTalk에서 "여기서 새로운 사실은 새로운 경쟁자가 출현했다는 것이다. Anthropic, OpenAI, Google, 아마 Meta, xAI 등 AI를 훈련시킬 수 있는 거대 기업들 사이에서 이제 DeepSeek이 이 범주에 추가된 것 같다"고 말했다.