최근 AI 기술이 보여주는 발전 속도를 지켜보면, 마치 엄청나게 빠르고 강력한 신규 기능을 가진 서비스가 갑자기 런칭된 것 같은 느낌을 받습니다.
기능 자체는 혁신적이고 놀랍지만, 막상 이 기능을 우리 일상이나 국가 시스템에 적용하려니 '어디서부터 손을 대야 할지', '만약 이 기능이 오작동하면 누가 책임을 지는지'와 같은 근본적인 사용성(Usability)의 질문들이 끊임없이 떠오릅니다.
마치 아무런 가이드라인 없이 베타 테스트 버전을 전 국가 단위로 배포한 기분이랄까요.
실제로 여러 전문가들이 모여 만든 '인간 중심 AI 선언문' 같은 것들이 등장한 배경에는, 바로 이런 '시스템적 불안정성'에 대한 깊은 우려가 깔려 있습니다.
우리가 마주한 가장 큰 불편함은 AI가 우리를 '대체'하는 방향으로 질주하는 것처럼 보인다는 점이에요.
마치 서비스가 사용자 경험을 개선하기보다, 사용자 자체를 구식으로 만들어버리는 것 같은 느낌을 주는 거죠.
만약 AI가 우리의 노동자 역할부터 의사결정권자 역할까지 점진적으로 대체해 간다면, 그 과정에서 발생하는 책임 소재는 누가 질까요?
이 기술의 권력이 소수의 기관이나 기업에만 집중되는 상황을 상상해 보세요.
아무리 화려한 UI를 갖춘 서비스라도, 핵심 로직이 특정 소수에게만 묶여있고, 그들이 마음만 먹으면 언제든 기능을 멈추거나 방향을 틀 수 있다면, 사용자 입장에서는 그 어떤 것도 신뢰할 수 없는 '불안정한 경험' 그 자체입니다.
이런 맥락에서 볼 때, 기술 자체의 성능 개선보다 훨씬 더 시급한 것은 '안전장치(Guardrails)'와 '통제권(Control)'에 대한 사회적 합의가 아닐까 싶습니다.
마치 우리가 복잡한 신규 기능을 사용할 때, '이 버튼을 누르면 되돌릴 수 없습니다'라는 경고창이 뜨는 것처럼, AI 개발 과정 전반에 걸쳐 '이 부분은 반드시 인간의 검토가 필요합니다'라는 명확한 인터페이스가 필요하다는 거죠.
기술이 아무리 뛰어나도, 그 기술을 안전하게 끄거나(Off-switch), 그 작동 원리를 투명하게 검증할 수 있는 메커니즘이 없다면, 그건 '잠재적 위험'을 가진 베타 기능일 뿐, 신뢰할 수 있는 서비스라고 보기 어렵습니다.
이러한 관점에서 보면, 선언문에서 제시하는 다섯 가지 핵심 기둥은 사실상 '최소한의 사용자 권리 보장 조건'과 맞닿아 있다고 해석할 수 있습니다.
첫째, 인간이 통제권을 유지해야 한다는 것은, 아무리 똑똑한 AI라도 최종 결정권은 반드시 인간의 손에 남아있어야 한다는 의미입니다.
둘째, 권력의 집중을 막는다는 것은, 서비스의 핵심 기능이 특정 기업이나 집단에 독점되어 사용자 선택지가 사라지는 '폐쇄형 생태계'가 되지 않도록 막는 장치와 같습니다.
가장 흥미롭고 중요한 부분은 바로 '법적 책임 소재'에 대한 명문화입니다.
만약 AI가 오판을 내리거나 피해를 준다면, 그 책임을 개발사, 운영사, 혹은 사용 중 어느 쪽에 물어야 할까요?
이 부분이 모호한 상태로 방치된다면, 피해를 본 사용자는 누구에게 도움을 요청해야 할지 막막해집니다.
마치 서비스 이용 약관을 아무리 길게 써도, 실제 문제가 발생했을 때 '누가 최종 책임자'인지 명확히 지정하지 않으면 법적 구제 자체가 불가능한 것과 같습니다.
또한, '초지능 개발 전면 금지'와 '의무적인 강제 종료장치' 요구는, 개발 초기 단계부터 '최악의 시나리오'를 가정하고 설계하는 '안전 우선 설계(Safety-First Design)' 원칙을 기술 거버넌스 차원에서 강제하자는 요구로 보입니다.
이는 마치 금융 시스템을 설계할 때, 가장 큰 규모의 금융 위기 상황을 가정하고 예비 자금과 비상 차단 시스템을 의무적으로 마련해야 하는 것과 같은 맥락입니다.