시그널(Signal)의 메레디스 휘태커(Meredith Whittaker) 사장은 금요일, 에이전트형 AI(agentic AI)가 사용자 프라이버시에 심각한 위협이 될 수 있다고 경고했다.
텍사스 오스틴에서 열린 SXSW 컨퍼런스 무대에서 연설한 그녀는, 안전 통신 분야의 지지자로서 AI 에이전트의 사용을 "뇌를 병에 담아 놓는 것"에 비유하며, AI가 사용자를 대신해 작업을 수행하는 이 새로운 컴퓨팅 패러다임이 프라이버시와 보안 측면 모두에서 "근본적인 문제"를 내포하고 있다고 경고했다.
휘태커는 AI 에이전트가 사용자를 위해 다양한 온라인 작업을 처리하며 삶에 가치를 더하는 방식으로 마케팅되고 있음을 설명했다. 예를 들어, AI 에이전트는 콘서트 정보 검색, 티켓 예약, 캘린더에 일정 추가, 친구들에게 예약 사실을 알리는 메시지 전송 등 여러 작업을 수행할 수 있다.
휘태커는 "우리가 그저 우리의 뇌를 병에 담아 놓을 수 있게 되는 거예요. 기계가 대신 처리해주기 때문에 우리가 아무것도 할 필요가 없게 되잖아요?"라고 설명했다.
이어 그녀는 이러한 작업을 수행하기 위해 AI 에이전트가 필요로 하는 접근 권한의 종류를 설명했다. 여기에는 웹 브라우저 제어 권한, 티켓 구매를 위한 신용카드 정보 접근, 캘린더, 그리고 친구에게 메시지를 보내는 메시징 앱에 접근하는 권한 등이 포함된다.
휘태커는 "이 모든 데이터베이스, 즉 모든 것에 접근할 수 있는 루트 권한(root permission) 수준의 권한이 필요하며, 암호화된 방식으로 그러기는 어렵기 때문에 아마도 평문(in the clear) 상태로 데이터를 다루게 될 것입니다"라고 경고했다.
그녀는 말을 이어받아 "게다가 이러한 AI를 구동하는 충분히 강력한 AI 모델은 기기 자체에서 작동할 수 없습니다. 거의 확실하게 클라우드 서버로 전송되어 처리된 후 다시 전송됩니다. 따라서 에이전트를 둘러싼 이 과대광고 속에는 보안과 프라이버시에 심각한 문제점이 도사리고 있으며, 이는 궁극적으로 개별 서비스를 모두 결합하고 데이터를 혼탁하게 만들면서, 애플리케이션 계층과 OS 계층 사이의 혈뇌 장벽(blood-brain barrier)을 무너뜨릴 위험을 안고 있습니다"라고 결론지었다.
만약 시그널 같은 메시징 앱이 AI 에이전트와 통합된다면, 메시지의 프라이버시가 훼손될 것이라고 그녀는 강조했다. 에이전트는 친구들에게 문자를 보내기 위해 앱에 접근해야 할 뿐만 아니라, 해당 메시지를 요약하기 위해 데이터를 다시 가져가야 하기 때문이다.
이 발언은 AI 산업이 대규모 데이터 수집을 기반으로 감시 모델로 구축되었다는 패널 토론에서 그녀가 이전에 한 발언을 이은 것이었다. 그녀는 '데이터가 많을수록 좋다(bigger is better)'는 AI 패러다임이 자신이 바람직하지 않다고 생각하는 잠재적 결과를 초래할 수 있다고 지적했다.
휘태커는 마지막으로 에이전트형 AI를 통해 우리가 "삶의 긴급 상황을 해결해 줄 마법의 정령봇"이라는 명분으로 프라이버시와 보안을 더욱 훼손하게 될 것이라고 경고했다.