최근 AI 기술이 국방 영역에 깊숙이 통합되면서, 기술의 발전 속도만큼이나 '누가 이 기술을 어떻게 통제할 것인가'라는 거버넌스 문제가 가장 첨예한 이슈로 떠오르고 있습니다.
특히 거대 언어 모델(LLM)과 같은 최첨단 소프트웨어는 그 잠재력만큼이나 오용될 위험성이 크기 때문에, 기술적 성능 확보와 안전한 사용 범위 설정 사이의 균형점을 찾는 것이 핵심 과제입니다.
최근 발생한 사례는 이러한 딜레마를 극명하게 보여줍니다.
미 국방부가 특정 AI 기업에 자사 시스템에 대한 무제한 접근을 요구하며 압박을 가하자, 해당 기업의 최고 경영진이 공개적으로 "양심상 응할 수 없다"는 입장을 고수한 것이죠.
여기서 우리가 주목해야 할 위험 요소는 단순히 '접근 권한'의 문제가 아닙니다.
더 근본적인 문제는, 민간 기업이 개발한 최첨단 기술이 국가 안보라는 명분 아래, 그 기술이 설계 단계에서부터 내포하고 있던 윤리적 안전장치(Guardrails)를 무력화시키려는 시도가 있다는 점입니다.
구체적으로 언급된 대규모 시민 감시나 인간 개입이 배제된 완전 자율 무기 시스템 같은 사용 사례들은, 기술이 가진 '편의성'이라는 이름으로 포장되어 실제로는 통제 불가능한 위험을 초래할 수 있음을 경고합니다.
기술의 도입이 필연적일지라도, 그 사용 목적과 범위에 대한 명확한 규범적 조건(normative terms of use)이 선행되지 않는다면, 우리는 기술적 진보가 아닌 '보안 부채'를 떠안게 될 위험이 매우 높습니다.
더욱 심각하게 봐야 할 부분은, 국방부가 단순히 협의를 거부하는 것을 넘어, 마치 기업의 생존 자체를 위협하는 방식으로 압박을 가했다는 점입니다.
'공급망 위험'으로 지정하거나, 국가 방위법(DPA)을 발동하여 사실상 기업이 군의 지시에 따르도록 강제하려는 시도는, 시장의 자율적 판단이나 윤리적 가치 판단을 기술적 강제력으로 덮어버리려는 전형적인 패턴을 보여줍니다.
이는 마치, 아무리 훌륭한 안전장치를 갖춘 시스템이라도, 국가적 필요성이라는 거대한 명분 아래 '일단 사용하고 보자'는 논리로 그 안전장치가 무시될 수 있음을 시사합니다.
아모데이 CEO가 지적했듯이, 국방부가 기술의 가치를 인정하면서도 동시에 그 기술을 특정 방식으로만 사용하도록 강제하는 이 모순적인 상황 자체가 가장 큰 위험 신호입니다.
만약 기술 공급자가 외부의 강압적인 요구에 굴복하여 안전장치를 해제한다면, 그 기술은 특정 목적에만 최적화된 '도구'가 되지만, 그 과정에서 얻은 지식과 역량은 범용적인 안전성을 잃게 됩니다.
따라서 우리가 실무적으로 대비해야 할 점은, 어떤 고성능 도구를 도입하든, 그 도구가 어떤 '최악의 시나리오'에서도 작동하지 않도록 다층적인 검증과 제어 메커니즘을 설계하는 것입니다.
기술의 성능 지표(Performance Metrics)에만 매몰되기보다, '제어 가능성(Controllability)'과 '윤리적 회피성(Ethical Evasion)'을 핵심 평가 기준으로 삼아야 합니다.
첨단 AI 기술의 도입 과정에서 가장 경계해야 할 것은 기술적 한계가 아니라, 명분 뒤에 숨겨진 통제권의 과도한 집중입니다.