'Promptware'는 프롬프트를 사용하여 LLM 통합의 결함을 악용합니다.
SafeBreach 연구원들은 악성 Google Calendar 초대를 활용하여 Gemini—Google이 Workplace 소프트웨어 제품군, Android 운영 체제, 검색 엔진에 내장한 AI 비서—를 악용할 수 있는 방법을 공개했습니다. 이는 AI가 기술 제품에 급속히 통합되면서 제기되는 위험성을 규명하려는 연구원들의 지속적인 노력의 일환입니다.
연구원들은 이러한 유형의 악용을 '프롬프트웨어(promptware)'라고 명명했습니다. 이는 "텍스트, 이미지, 또는 오디오 샘플 형태의 입력(프롬프트)을 활용하여 추론 시간(inference time)에 LLM 인터페이스를 악용하도록 설계되었으며, 스팸 전파나 기밀 정보 추출과 같은 악의적인 활동을 유발하는 것"을 의미합니다. SafeBreach는 광범위한 보안 커뮤니티가 프롬프트웨어 관련 위험을 과소평가해 왔다고 지적하며, 본 보고서는 이러한 악용이 얼마나 큰 혼란을 야기할 수 있는지 보여주기 위함이라고 밝혔습니다.
이번 특정 악용 사례는 Gemini가 광범위한 Google 생태계와 통합되어 있다는 점, Google Calendar 사용자 인터페이스를 초대장으로 혼잡하게 만들 수 있는 능력, 그리고 의도된 피해자가 자동화 시스템에 대해 '감사 인사'를 건네는 일반적인 습관을 결합하여 발생했습니다. 연구원들은 이 취약점을 통해 사용자 채팅 기록에 숨겨진 프롬프트웨어를 간접적으로 작동시켜 다음과 같은 행위를 수행할 수 있음을 밝혀냈습니다.
- 스팸 및 피싱 수행
- 유해 콘텐츠 생성
- 피해자의 캘린더 이벤트 삭제
- 피해자 가전제품 원격 제어 (예: 연결된 창문, 보일러, 조명)
- 피해자 지리적 위치 파악
- Zoom을 통한 피해자 동영상 스트리밍
- 피해자 이메일 유출
악용 작동 방식에 대한 단계별 분석은 전체 보고서에서 확인할 수 있습니다. 연구원들은 이 취약점을 Google에 2월에 공개했으며, 이에 대해 Google은 "Gemini에 대한 프롬프트 주입 기법을 방어하기 위한 다층적인 완화 접근 방식을 개괄적으로 설명하는 블로그를 발행했다"고 밝혔습니다. (다만, 이 완화 조치가 취약점 공개와 블로그 게시 사이에 정확히 어느 시점에 도입되었는지는 불분명합니다.)
이러한 상호작용 양상은 수십 년 동안 컴퓨팅 분야의 주된 흐름이었습니다. 기업들이 새로운 기술을 도입하고, 사람들이 이를 악용할 방법을 찾으며, 기업들이 다시 방어책을 개발하고, 결국 또 다른 취약점이 발견되는 식입니다. 따라서 SafeBreach의 연구는 이러한 문제들로 가득 찬 목록에 추가되는 또 하나의 사례일 뿐입니다.
하지만 몇 가지 요인들이 결합되어 이 보고서의 심각성을 더욱 높이고 있습니다. 여기에는 보안 전문가들이 프롬프트웨어를 충분히 심각하게 받아들이지 않는다는 SafeBreach의 지적, 기업들이 'AI' 배포에 있어 취하는 '빠르게 움직이며 것을 파괴한다(move fast and break things)'는 접근 방식, 그리고 이러한 챗봇들이 기업이 제공하는 것처럼 보이는 거의 모든 제품에 통합되고 있다는 점(Gemini의 보편성이 이를 방증함) 등이 포함됩니다.
SafeBreach는 "당사 분석에 따르면, LLM 개인 비서가 최종 사용자에게 가하는 위협 중 73%가 '높은 위험(High-Critical)' 수준을 초래하고 있습니다. 이는 최종 사용자를 보호하고 이러한 위험을 줄이기 위해 신속하고 전념적인 완화 조치가 필수적이라고 판단할 만큼 중대한 문제입니다."라고 말했습니다.
최신 뉴스, 분석 및 리뷰를 피드에서 받아보려면 Tom's Hardware를 Google News에서 팔로우하십시오. 팔로우 버튼을 클릭했는지 확인하십시오.