이 서버는 세탁 사이클 사이에 검색 결과를 제공합니다.
한 프로그래머가 세탁실에 놓인 두 대의 PC로 구글 검색에 도전장을 던진다. 엔터프라이즈 소프트웨어와 게임 개발 분야에서 모두 경력을 쌓은 라이언 피어스(Ryan Pearce)는 검색 엔진을 직접 구축하는 과정에 깊은 흥미를 느꼈다. Fast Company의 보도에 따르면, 피어스는 두 개의 검색 엔진, 즉 Searcha Page와 시크릿 모드 버전인 Seek Ninja를 개발했다. 이 두 엔진 모두 20억 개 이상의 항목을 담은 데이터베이스를 보유하고 있다. 이는 구글의 4,000억 개에 달하는 검색 색인(search index)에 비하면 0.5%도 채 안 되는 수치지만, 결코 적은 양이 아니며, 그는 향후 6개월 안에 이 규모를 두 배로 늘릴 계획이라고 밝혔다.
이 자체 호스팅(self-hosted) 검색 엔진은 피어스의 집 안에 자리 잡고 있다. 대부분의 사람들이 자가 호스팅 시 사용하는 저전력의 Raspberry Pi나 미니 PC 대신, 피어스는 2020년 출시 당시 최고 수준의 워크스테이션 CPU 중 하나였던 중고 32코어 AMD EPYC 7532를 선택했다. 거대한 검색 엔진을 구축하려면 기본급 CPU(entry-level CPU)보다 훨씬 강력한 성능이 필요했기 때문이다. 그럼에도 불구하고, 이 프로세서는 이미 작성 시점 기준으로 5년이 지났기 때문에, 현재는 200달러도 채 되지 않는 저렴한 가격으로 중고 제품을 쉽게 구할 수 있다. 피어스는 Fast Company와의 인터뷰에서 “같은 가격으로 스레드 수가 두 배인 다른 칩을 구하기도 했지만, 과도한 열을 발생시킬까 봐 망설였다”고 전했다.
이러한 이유로 두 서버는 그의 세탁실에 위치하게 되었다. 피어스는 처음에 서버를 침실에 설치했으나, 시스템에서 발생하는 열기 때문에 수면을 취하기 어려웠다. 결국 그는 장소를 다용도실로 옮겼고, 하나의 장치는 선반 위에, 다른 지원 장치는 작은 스툴 몇 개 위에 올려두었다. 두 장치는 연장 코드에 연결되어 있으며, 인터넷으로 연결하는 네트워크 케이블은 그가 벽에 뚫은 구멍을 통해 지나가도록 처리했다. 기계가 발생시키는 열기가 집 밖으로 나갈 수 있도록 임시 환기 시설까지 마련했다. 피어스는 당시 출판사 측에 “열기가 극도로 나쁘지는 않다. 하지만 문을 너무 오랫동안 닫아두면 문제가 될 것”이라고 설명했다.
한 프로그래머가 거대한 검색 엔진을 운영할 수 있는 비결은 인공지능(AI)이지만, 이는 일반인들이 생각하는 유형의 AI는 아니다. 피어스는 검색 결과를 요약하고 사고 과정을 대신하는 사용자 대면(front-facing) AI 도구를 사용하지 않는다. 대신 그는 기계 학습 알고리즘(machine learning algorithms)을 활용하여 쿼리에 사용된 키워드를 확장하고, 사용자의 맥락(context)을 파악하는 데 중점을 둔다. 이를 통해 그의 검색 엔진은 구글이 사용하는 자원 중 극히 일부만으로도 관련성 높은 결과를 제공할 수 있다.
피어스는 검색 엔진을 조각조각 완성해나가고 있으며, 이미 약 15만 줄의 코드를 직접 작성했다고 밝혔다. 하지만 그는 그 이상으로 많은 작업을 거쳤으며, 총 50만 줄 이상의 코드를 반복적으로 수정하고 개선했다고 설명했다.
앞으로의 계획에 대해 그는 언급했다.
한편, 장래 계획에 대해서 그는 말했다.
마지막으로, 그는 전했다.