오늘부터 Google의 Gemini API와 Google AI Studio를 활용하여 AI 기반 서비스 및 챗봇을 구축하는 개발자들은 Google 검색의 데이터를 기반으로 프롬프트 결과의 근거(grounding)를 확보할 수 있게 됩니다. 이는 더 최신의 데이터에 기반한 더욱 정확한 답변을 가능하게 합니다.
이전과 마찬가지로, 개발자들은 AI Studio에서 근거 마련 기능을 무료로 시험해 볼 수 있습니다. AI Studio는 개발자들이 프롬프트를 테스트하고 개선하며 최신 대규모 언어 모델(LLM)에 접근할 수 있는 Google의 개발자 플레이그라운드 역할을 합니다.
다만, Gemini API를 사용하는 경우 유료 플랜에 가입해야 하며, 근거 마련 쿼리 1,000회당 35달러를 지불해야 합니다.
AI Studio에 최근 추가된 내장 비교 모드(built-in compare mode)를 사용하면, 근거 기반 쿼리 결과가 모델 자체 데이터에만 의존하는 결과와 어떻게 차이가 나는지 쉽게 비교할 수 있습니다.
근거 마련(grounding)의 핵심 원리는 모델을 검증 가능한 데이터와 연결하는 것입니다. 이는 기업의 내부 데이터일 수도 있고, 본 사례처럼 Google의 전체 검색 카탈로그일 수도 있습니다. 이 기능은 시스템이 환각(hallucination) 현상을 방지하는 데 도움을 줍니다. 예를 들어, 오늘 발표 이전에 Google이 보여준 시연에서는 "2024년 최고의 코미디 시리즈로 에미상을 수상한 사람이 누구인가?"라는 프롬프트가 있었습니다. 근거 마련 기능을 사용하지 않았을 때 모델은 "티드 라쏘(Ted Lasso)"라고 답하며 이는 환각이었습니다. 실제로 "티드 라쏘"가 수상한 것은 맞지만, 시기는 2022년이었습니다. 그러나 근거 마련 기능을 활성화하자, 모델은 올바른 결과("Hacks")를 제공했을 뿐만 아니라 추가적인 맥락과 출처를 인용했습니다.
근거 마련 기능 활성화는 스위치를 켜는 것만큼 간단합니다. 개발자는 '동적 검색(dynamic retrieval)' 설정을 변경하여 API가 얼마나 자주 근거 마련 기능을 사용할지 결정할 수 있습니다. 이 설정은 모든 프롬프트에 대해 기능을 켜는 간단한 방식일 수도 있고, 프롬프트를 평가하는 소규모 모델을 사용하여 Google 검색 데이터로 보강할지 여부를 결정하는 보다 세밀한 방식일 수도 있습니다.
Gemini API 및 AI Studio의 Google 그룹 제품 관리자는 "근거 마련 기능은 모델의 지식 차단일(knowledge cutoff)을 넘어선 매우 최신 질문을 할 때 도움이 될 수 있지만, 그다지 최신이 아니더라도 더 풍부한 세부 정보를 원할 때도 유용합니다"라고 설명했습니다. 그는 덧붙여, "최근 사실에 대해서만 근거 마련을 원한다고 주장하는 개발자들은 [동적 검색 값]을 높게 설정할 것이며, 반면 모든 내용에 대해 Google 검색의 풍부한 디테일이 필요하다고 말하는 개발자도 있을 수 있습니다."라고 전했습니다.
Google이 검색 데이터를 통해 결과를 풍부하게 제공할 때, 해당 근거 출처로 연결되는 지원 링크도 함께 제공합니다. 올해 초 Google에 합류한 로건 킬패트릭(Logan Kilpatrick)은 이 기능을 사용하는 모든 사용자에게 이러한 링크를 표시하는 것이 Gemini 라이선스의 필수 요건이라고 밝혔습니다.
바수 말릭(Basu Mallick)은 "이는 저희에게 두 가지 이유로 매우 중요합니다. 첫째, 저희 출판사들이 크레딧과 가시성을 인정받도록 하기 위함입니다. 둘째, 사용자들도 이 점을 선호합니다. 저 역시 LLM 답변을 받으면 종종 Google 검색으로 돌아가 해당 답변을 확인하는 경향이 있습니다. 저희는 사용자들이 이를 쉽게 할 수 있는 방법을 제공하고 있으므로, 사용자들에게 매우 가치 있는 기능입니다"라고 덧붙였습니다.
이러한 맥락에서 주목할 만한 점은, AI Studio가 원래 프롬프트 튜닝 도구와 유사한 기능을 제공하는 곳이었지만, 현재는 그 역할이 훨씬 커졌다는 것입니다.
킬패트릭은 “AI Studio의 성공이란, 개발자가 플랫폼에 들어와 Gemini 모델 중 하나를 사용해보고, 이것이 실제로 매우 강력하며 자신들의 사용 사례에 잘 작동한다는 것을 깨닫는 것입니다.”라고 말했습니다. 그는 "개발자들에게 잠재적으로 흥미로운 사용 사례를 UI 전면에 배치하기 위해 많은 노력을 기울이고 있지만, 궁극적인 목표는 개발자를 AI Studio에 머물게 하거나 모델을 가지고만 만지작거리게 하는 것이 아닙니다. 우리의 목표는 코드를 얻게 하는 것입니다. 오른쪽 상단 모서리에서 ‘Get Code’를 누르면 실제로 구축을 시작하게 하고, 나중에 다른 모델을 실험하기 위해 AI Studio로 다시 돌아오도록 하는 것이죠.”라고 설명했습니다.
[출처:] https://techcrunch.com/2024/10/31/googles-gemini-api-and-ai-studio-get-grounding-with-google-search