이민자 가정에서 자란 시릴 고를라(Cyril Gorlla)는 코딩을 독학했으며, 마치 숙련된 전문가처럼 연습에 몰두했습니다.
그는 TechCrunch과의 인터뷰에서 "가끔 집의 전기가 끊기던 환경에서도, 저는 11살 때 어머니의 커뮤니티 칼리지 프로그래밍 수업에서 만점을 받았습니다"라고 회고했습니다.
고등학교 시절, 고를라는 인공지능(AI)에 눈을 뜨게 되었고, 자신이 직접 AI 모델을 훈련시키려는 생각에 깊이 매료되었습니다. 이 열정으로 인해 내부 냉각 장치를 업그레이드하기 위해 자신의 노트북을 분해하는 등 만지작거렸고, 이러한 활동이 대학 2학년 때 인텔(Intel) 인턴십으로 이어졌습니다. 그곳에서 그는 AI 모델 최적화와 해석 가능성(interpretability)에 대해 연구했습니다.
고를라의 대학 시절은 AI 붐과 겹쳤습니다. 이 붐을 타고 OpenAI 같은 회사들은 AI 기술에 수십억 달러를 투자했습니다. 고를라는 AI가 전체 산업을 변화시킬 잠재력이 있다고 확신했습니다. 하지만 동시에 그는 안전성 확보 작업이 반짝이는 신제품들의 경쟁에 밀리고 있다는 문제의식도 느꼈습니다.
그는 "우리가 AI를 이해하고 훈련하는 방식 자체에 근본적인 변화가 필요하다고 느꼈습니다"라며, "AI가 가장 큰 변화를 가져올 수 있는 헬스케어, 금융 같은 산업에서, 모델 출력값에 대한 불확실성과 신뢰 부족은 채택을 가로막는 심각한 장벽입니다"라고 강조했습니다.
그는 학부 시절 만난 트레버 터틀(Trevor Tuttle)과 함께 대학원 과정을 중퇴하고, 조직들이 AI를 더욱 신중하게 배포하도록 돕는 회사 CTGT를 설립했습니다. CTGT는 오늘 TechCrunch Disrupt 2024의 스타트업 배틀필드(Startup Battlefield) 경쟁에 참가하여 피칭을 진행했습니다.
그는 "제 부모님은 제가 학업을 계속하고 있다고 생각하세요. 아마 이 소식은 부모님께 충격일 겁니다"라고 웃었습니다.
CTGT는 기업들과 협력하여 모델이 출력하는 편향된 결과(biased outputs)나 환각(hallucinations) 현상을 식별하고, 이러한 문제의 근본 원인을 해결하는 데 주력합니다.
모델의 오류를 완전히 없애는 것은 불가능하지만, 고를라는 CTGT의 감사(auditing) 방식이 기업들이 이러한 오류를 완화하는 힘을 실어줄 수 있다고 주장합니다.
그는 "저희는 모델이 개념을 어떻게 이해하고 있는지 내부적으로 노출시킵니다. 모델이 사용자에게 '레시피에 접착제를 넣으라'고 하는 건 웃자주 넘길 수 있는 이야기일지 몰라도, 고객이 제품 비교를 요청했을 때 경쟁사를 추천하는 답변은 결코 사소하지 않습니다. 오래된 임상 연구 정보를 환자에게 제공하거나, 환각된 정보를 기반으로 신용 결정이 내려지는 것은 절대로 용납될 수 없습니다"라고 설명했습니다.
Cnvrg의 최근 설문조사에 따르면, 신뢰성은 AI 앱을 도입하는 기업들이 가장 크게 우려하는 부분이었습니다. 또한 위험 관리 소프트웨어 제공업체인 Riskonnect의 별도 연구에서는, 임원진의 절반 이상이 직원이 AI 도구의 부정확한 정보를 근거로 의사결정을 내리는 것을 걱정한다고 답했습니다.
AI 모델의 의사결정 능력을 평가하는 전용 플랫폼이라는 아이디어 자체는 새로운 것이 아닙니다. TruEra나 Patronus AI 같은 스타트업들이나, 구글(Google)과 마이크로소프트(Microsoft)와 같은 거대 기업들 역시 모델 행동을 해석하는 도구를 개발하고 있습니다.
그러나 고를라는 CTGT의 기술이 더 효과적이라고 주장합니다. 그 이유는 현업에서 사용되는 모델을 모니터링하기 위해 또 다른 '심사(judge)' AI를 훈련시키는 방식에 의존하지 않기 때문입니다.
그는 "저희의 수학적으로 보장된 해석 가능성은 현재의 최첨단 방법들과 다릅니다. 기존 방식은 비효율적일 뿐 아니라, 하나의 통찰력을 얻기 위해 수백 개의 다른 모델을 훈련해야 합니다"라고 말했습니다. 이어 "기업들이 컴퓨팅 비용에 점점 민감해지고, 엔터프라이즈 AI가 단순한 데모 수준을 넘어 실제 가치를 창출하는 단계로 넘어가면서, 저희의 가치는 매우 큽니다. 추가 모델을 훈련하거나 다른 모델을 심판으로 활용하지 않고도 고급 AI의 안전성을 엄격하게 검증할 수 있는 능력을 기업에 제공하기 때문입니다"라고 강조했습니다.
잠재 고객들이 우려하는 데이터 유출 문제를 해소하기 위해, CTGT는 관리형(managed) 플랜 외에도 온프레미스(on-premises) 옵션을 함께 제공합니다. 두 옵션 모두 동일한 연간 수수료를 책정하고 있습니다.
고를라는 "저희는 고객 데이터에 접근하지 않기 때문에, 고객은 데이터가 어떻게, 어디서 사용되는지에 대한 완전한 통제권을 유지할 수 있습니다"라고 설명했습니다.
가속기 프로그램 출신인 CTGT는 전 GV 파트너인 Jake Knapp과 John Zeratsky(Character VC 공동 창업자), Mark Cuban, 그리고 Zapier 공동 창업자 Mike Knoop 등의 지지를 받고 있습니다.
Cuban은 다음과 같이 말했습니다. "AI가 인공지능을 넘어섰습니다."
CTGT는 초기 단계임에도 불구하고 이미 상당한 규모의 프로젝트를 진행하고 있습니다.
이 회사는 초창기부터 시장의 수요에 맞춰 성장해 왔습니다.
이 회사는 빠르게 성장하며 업계를 선도하고 있습니다.
이 회사는 이 분야에서 입지를 다지고 있습니다.
이 회사는 다음 단계로 도약할 준비를 갖추고 있습니다.
[출처:] https://techcrunch.com/2024/10/29/ctgt-aims-to-make-ai-models-safer