AI는 기업들에게 딜레마를 안겨준다. 즉, 지금 당장 도입하지 않으면 생산성 향상 및 기타 잠재적 이점을 놓칠 수 있지만, 잘못 구현할 경우 사업과 고객이 미비하게 관리된 위험에 노출될 수 있다는 것이다. 바로 이런 지점에서, 제일브레이크(jailbreak)나 프롬프트 주입(prompt injection)과 같은 위협들을 간과할 수 없다는 전제 하에 "AI 보안(security for AI)" 스타트업들이 새로운 물결을 이루고 있다.
이스라엘 스타트업 및 미국 기반 경쟁사들과 마찬가지로, 영국 대학의 스핀오프 기업인 [회사명] 또한 이러한 기업 중 하나이다. 이 회사의 CEO 겸 CTO인 피터 가라건(Peter Garraghan) 교수(사진 오른쪽)는 "AI는 여전히 소프트웨어이므로, 언급된 모든 사이버 위험은 AI에도 적용됩니다"라고 말했다. 그러나 그는 "신경망(neural networks)과 시스템의 불투명한 특성 및 본질적인 무작위성 때문에" 역시 새로운 접근 방식을 정당화한다고 덧붙였다.
Mindgard의 경우, 이 접근 방식은 런타임(runtime) 중에만 감지할 수 있는 취약점을 겨냥한 동적 애플리케이션 보안 테스트(Dynamic Application Security Testing for AI, DAST-AI)를 수행한다. 여기에는 Mindgard가 자체 보유한 위협 라이브러리를 기반으로 공격을 시뮬레이션하는 지속적이고 자동화된 레드팀(red teaming) 테스트가 포함된다. 예를 들어, 이미지 분류기(image classifiers)의 강건성(robustness)을 적대적 입력(adversarial inputs)에 대해 테스트하는 것이 가능하다.
Mindgard의 기술력은 이 분야와 그 너머로 확장되며, 가라건 교수가 AI 보안에 초점을 맞춘 교수이자 연구원이었던 경력에 큰 기반을 두고 있다. 이 분야는 매우 빠르게 진화하고 있다. 그가 이 분야에 발을 들였을 때 ChatGPT는 존재하지 않았지만, NLP와 이미지 모델이 새로운 위협에 직면할 수 있다는 점을 감지했다고 테크크런치(TechCrunch)에 밝힌 바 있다.
그 이후, 한때 미래지향적으로만 들리던 것들이 빠르게 성장하는 산업의 현실이 되었지만, LLM(대규모 언어 모델)은 끊임없이 변화하고 위협 수준 역시 마찬가지다. 가라건은 자신이 랭커스터 대학교(Lancaster University)와 유지하고 있는 지속적인 관계가 회사에 도움이 될 것이라 믿는다. Mindgard는 앞으로 몇 년간 18명의 추가 박사 연구원들의 작업 IP(지적 재산)를 자동으로 확보하게 된다. 그는 "이러한 규모의 거래를 하는 회사는 세상에 없다"고 평가했다.
연구와 관련성을 지니지만, Mindgard는 이미 상업적인 제품, 더 정확히는 SaaS 플랫폼이다. 공동 창업자인 스티브 스트리트(Steve Street)가 COO이자 CRO로서 회사를 이끌고 있다. (연구 분야에 관여했던 초기 공동 창업자 니라지 수리(Neeraj Suri)는 현재 회사와는 거리를 두고 있다.)
가라건에 따르면, Mindgard의 자연스러운 고객은 기업들뿐 아니라 전통적인 레드팀이나 침투 테스터(pen testers)들도 포함된다. 또한, 고객들에게 AI 위험 예방 능력을 입증해야 하는 AI 스타트업들과도 협력하고 있다.
이러한 잠재 고객 대다수가 미국에 기반을 두고 있어, 회사는 자본 구조(cap table)에도 미국의 흔적을 더했다. 2023년 300만 파운드(£3 million) 규모의 시드 라운드(seed round)를 유치한 Mindgard는 현재 보스턴에 본사를 둔 [투자사명]이 주도하고, 어틀랜틱 브릿지(Atlantic Bridge), 윌로트리 인베스트먼츠(WillowTree Investments), 그리고 기존 투자사인 IQ Capital 및 Lakestar의 참여를 통해 800만 달러($8 million) 규모의 새로운 라운드를 발표했다.
이번 자금은 "팀 구축, 제품 개발, R&D, 그리고 스타트업에서 기대할 수 있는 모든 것"에 사용될 것이며, 미국 시장으로의 확장에도 쓰일 것이다. 최근 임명된 마케팅 부사장(VP of marketing) 페르갈 글린(Fergal Glynn)은 전 Next DLP CMO 출신으로 보스턴에 거주한다. 하지만 회사는 R&D와 엔지니어링 기능은 런던에 유지할 계획이다.
현재 15명 규모의 인력을 보유한 Mindgard는 비교적 소규모 조직을 유지할 계획이며, 내년 말까지는 20~25명 규모로 확장할 예정이다. 이는 AI 보안 분야 자체가 "아직 전성기를 맞지 않았기" 때문이라고 전했다. 하지만 AI가 모든 곳에 배치되고 보안 위협이 뒤따르는 시기가 오면, Mindgard는 완벽하게 준비되어 있을 것이다. 가라건은 "저희는 이 회사를 통해 세상에 긍정적인 영향을 주기 위해 설립했으며, 여기서 긍정적인 영향이란 사람들이 AI를 안전하고 신뢰할 수 있도록 사용하는 것이다"라고 강조했다.