생성형 AI 애플리케이션을 악의적인 프롬프트 및 기타 위협으로부터 보호하는 기술을 개발하는 스위스 스타트업 [회사 이름]이 유럽 벤처 캐피털 회사인 Atomico가 주도한 시리즈 A 라운드에서 2,000만 달러를 유치했습니다.
생성형 AI는 ChatGPT 같은 인기 애플리케이션을 통해 급성장하는 AI 혁명의 대표 주자로 떠올랐습니다. 하지만 보안과 데이터 개인 정보 보호 문제로 인해 기업 환경에서는 여전히 우려를 낳고 있습니다.
배경 설명을 하자면, 대규모 언어 모델(LLMs)은 생성형 AI의 엔진 역할을 하며, 기계가 인간처럼 텍스트를 이해하고 생성할 수 있도록 합니다. 사용자가 애플리케이션에 시를 쓰거나 법률 계약을 요약하도록 지시하려면 '프롬프트'라는 지침이 필요합니다. 그러나 이러한 프롬프트는 애플리케이션이 의도하지 않은 작업을 수행하도록 속일 수 있는 방식으로 설계될 수 있습니다. 예를 들어, 모델 훈련에 사용된 기밀 데이터를 유출하거나 사설 시스템에 무단 접근하도록 강제하는 것입니다. 이러한 '프롬프트 주입(prompt injections)'은 현실적이고 증가하는 보안 위협이며, 바로 이것이 Lakera가 해결하고자 하는 문제입니다.
프롬프트 응답
2021년 취리히에서 설립된 Lakera는 작년 10월에 1,000만 달러의 자금을 유치하여 공식 출범했습니다. 이 회사는 데이터 유출이나 프롬프트 주입과 같은 LLM 보안 취약성으로부터 조직을 보호하는 것을 핵심 목표로 삼고 있습니다. Lakera의 시스템은 OpenAI의 GPT-X, Google의 Bard, Meta의 Llama, Anthropic의 Claude를 포함한 모든 LLM과 연동하여 작동합니다.
Lakera는 기본적으로 생성형 AI 애플리케이션으로 들어오고 나가는 모든 트래픽을 보호하는 '저지연 AI 애플리케이션 방화벽'으로 소개됩니다.
이 회사의 첫 번째 제품인 [제품명]은 Hugging Face에 호스팅된 공공 '오픈 소스' 데이터 세트, 자체 머신러닝 연구 결과, 그리고 사용자가 이 시스템을 속여 비밀번호를 알아내도록 유도하는 인터랙티브 게임 [게임명] 등 수많은 출처의 통찰력을 종합한 데이터베이스를 기반으로 구축되었습니다.
Lakera의 간달프
이 게임은 레벨이 진행됨에 따라 난이도가 높아지며(따라서 '해킹'하기 더욱 어려워집니다), 이러한 상호 작용을 통해 Lakera는 이러한 공격 유형을 체계적으로 분류한 '프롬프트 주입 분류 체계(prompt injection taxonomy)'를 구축할 수 있었습니다.
Lakera의 공동 창립자이자 CEO인 David Haber는 TechCrunch과의 인터뷰에서 "저희는 AI 우선주의(AI-first)를 지향하며, 프롬프트 주입 같은 악성 공격을 실시간으로 탐지하기 위해 자체 모델을 구축하고 있습니다. 저희 모델들은 대량의 생성형 AI 상호 작용 데이터를 통해 악성 상호 작용의 패턴을 지속적으로 학습합니다. 그 결과, 저희 탐지 모델은 진화하는 위협 환경에 발맞춰 끊임없이 개선되고 진화합니다."라고 설명했습니다.
Lakera 가드의 활용
Lakera는 기업들이 Lakera Guard API를 통합함으로써 악의적인 프롬프트를 더 효과적으로 방어할 수 있다고 말합니다. 나아가 이 회사는 혐오 발언, 성적 콘텐츠, 폭력, 욕설 등에 대한 전용 탐지기를 개발하여 프롬프트와 애플리케이션 출력을 전문적으로 스캔하는 모델도 제공합니다.
하버는 "이러한 탐지기는 챗봇처럼 대중에 공개되는 애플리케이션에 특히 유용하지만, 다양한 환경에서도 사용될 수 있습니다."라고 덧붙였습니다.
프롬프트 방어 도구 세트와 유사하게, 기업들은 Lakera의 콘텐츠 관리 기능을 단 한 줄의 코드로 통합할 수 있으며, 콘텐츠 유형별로 원하는 임계값을 세밀하게 조정할 수 있는 중앙 집중식 정책 제어 대시보드에 접근할 수 있습니다.
현금 자본금 2,000만 달러를 확보한 Lakera는 현재 글로벌 입지를 확장할 준비를 마쳤으며, 특히 미국 시장에 집중할 계획입니다. 이 회사는 이미 미국 기반 AI 스타트업 Respell과 캐나다의 대형 유니콘 기업 Cohere를 포함하여 북미 지역에서 상당한 주목을 받는 다수의 고객사들을 보유하고 있습니다.
하버는 "대기업, SaaS(서비스형 소프트웨어) 기업, AI 모델 제공업체 모두 보안 AI 애플리케이션 출시를 위해 경쟁하고 있습니다. 금융 서비스 조직들은 보안 및 규정 준수 위험을 깊이 이해하고 있어 초기 도입(early adopters)하는 추세이며, 시장은 강력한 수요를 보이고 있습니다."