AI 기반 검색으로 구글을 대체하려는 스타트업은 많지만(저희가 말하는 바로 그들), Exa라는 스타트업은 다른 비전을 제시합니다. 바로 ‘AI를 위한 구글’인 셈입니다. Exa의 창업자들은 인간이야말로 절실하게 새로운 검색 엔진을 필요로 하는 존재가 아니라고 믿습니다. 오히려 AI가 기업과 개인 생활 전반에 걸쳐 확산됨에 따라, 정보를 검색하고 환각(hallucinations)이 아닌 사실적 답변을 제공해야 하는 것은 AI 플랫폼 자체입니다. 그리고 이 플랫폼들은 단순한 키보드 입력만으로는 정보를 얻을 수 없습니다.
Exa는 AI 모델이 웹 검색과 유사한 기능을 수행할 수 있도록 돕는 도구를 구축하고 있으며, 여기에 AI 네이티브한 방식으로 접근했습니다.
이들은 특정 시점의 방대한 데이터셋에 의존하지 않습니다. 이들은 사용자가 원하는 정보를 추론하고, 여러 출처의 데이터를 통합하여 답변을 생성합니다.
이 과정에서 이들은 AI 모델의 '추론' 능력을 활용합니다.
이러한 기술은 단순한 정보 검색 엔진을 넘어, 사용자에게 필요한 통찰력을 제공합니다.
이러한 제품은 검색 결과를 보기 좋게 요약하고, 사용자 경험을 개선합니다.
또한, 이들은 사용자에게 필요한 컨텍스트를 파악하여, 검색의 효율성을 극대화합니다.
이러한 도구들은 사용자가 얻은 정보를 시각화하여 이해하기 쉽게 만듭니다.
최종적으로, 이들은 검색 과정 자체를 '지식 탐색'의 과정으로 격상시킵니다.
이러한 접근 방식은 검색 엔진을 데이터 검색 도구에서 '지식 통합 엔진'으로 변화시키고 있습니다.
이것이 검색 기술의 미래가 될 것이라는 점을 시사합니다.
[자연어 처리 기반 검색]
어떻게 검색 엔진이 진화하고 있는가?
과거의 검색 엔진은 키워드 매칭에 기반했습니다. 사용자가 검색창에 특정 키워드를 입력하면, 웹에 존재하는 페이지들 중에서 그 키워드가 포함된 것을 보여주는 것이 핵심이었습니다. 마치 방대한 도서관에서 특정 단어가 적힌 책만 골라 보여주는 것과 같았죠.
하지만 세상의 정보는 단순히 단어의 나열이 아닙니다. 정보들은 서로 연결되어 있고, 복잡한 맥락을 가지고 있습니다.
그래서 검색 엔진은 진화해야 했습니다. 단어의 나열이 아닌, '의미'를 파악하는 방식으로 말이죠.
핵심 원리: 의미론적 검색(Semantic Search)
진화한 검색 엔진의 핵심은 '의미론적 검색'입니다.
이것은 사용자가 검색창에 '따뜻한 휴가지'라고 입력했을 때, 단순히 '따뜻'과 '휴가지'라는 단어가 들어간 페이지를 찾는 것이 아닙니다.
이 엔진은 사용자가 '어떤 분위기의 장소', '가족과 함께 즐길 수 있는 곳'과 같은 의도를 가지고 검색하고 있음을 파악합니다.
그러고는 '따뜻한 기후를 가진 휴양지', '가족 여행이 적합한 동남아시아 해변가'와 같이, 사용자의 의도에 가장 근접한 정보를 검색 결과 최상단에 배치하는 것입니다.
엔진의 작동 방식 (기술적 관점)
이를 가능하게 하는 것이 바로 **자연어 처리(NLP)**와 임베딩(Embedding) 기술입니다.
-
임베딩 (Embedding): 웹상의 모든 텍스트(문장, 문단)를 컴퓨터가 이해할 수 있는 '수치 벡터(숫자의 배열)'로 변환합니다. 이 벡터 공간에서, 의미적으로 비슷한 문장들은 서로 가까운 위치에 놓이게 됩니다.
- 예시: '강아지 산책'과 '반려견과 공원에서 시간 보내기'라는 문장은 벡터 공간에서 매우 가까운 거리에 위치합니다.
-
쿼리 벡터화 (Query Vectorization): 사용자가 입력한 검색어(쿼리) 역시 이 벡터 공간의 언어로 변환됩니다.
-
유사도 계산 (Similarity Calculation): 검색 엔진은 사용자의 쿼리 벡터와 웹상의 모든 문장 벡터들 간의 '거리'를 계산합니다. 거리가 가장 가까울수록, 그 의미가 가장 유사하다는 것을 의미합니다.
이 과정을 통해, 키워드가 일치하지 않아도, 의미가 유사한 문서를 정확하게 찾아낼 수 있게 된 것입니다. 이것이 바로 '의도 기반 검색'의 핵심입니다.
결론: 검색 엔진의 역할 변화
과거의 검색 엔진이 '문서 목록을 찾아주는 도서관 사서'였다면, 현대의 검색 엔진은 '사용자의 질문을 이해하고, 가장 적절한 답을 추론해주는 연구 조교'에 가깝습니다.
단순히 '무엇이 존재하는가'를 넘어, **'사용자가 무엇을 원하는가'**에 초점을 맞추면서, 검색은 정보 검색을 넘어 '지식 탐색'의 영역으로 완전히 진화하고 있습니다.
[출처:] https://techcrunch.com/2024/07/16/exa-raises-17m-lightspeed-nvidia-ycombinator-google-ai-models