반도체 제조업체 Tenstorrent가 약 7억 달러에 달하는 자금을 유치한 지 몇 주 만에, 개발자들은 Tenstorrent의 AI 가속기를 이제 활용할 수 있게 되었다. Tenstorrent는 RISC-V 명령어 세트 아키텍처를 기반으로 하는 AI 프로세서를 판매하며, 자체 오픈 소스 신경망 라이브러리인 TT-NN과 오픈 소스 저수준 프로그래밍 모델인 TT-Metalium을 개발해 왔다.
Tenstorrent는 Nvidia GPU와 그들의 CUDA 라이브러리에 대한 대안을 구축하려는 기업 그룹의 일원이다. 이 회사는 [경쟁사 A]와 [경쟁사 B] 등과 경쟁하고 있다.
Koyeb은 전 Scaleway 임원들이 설립했으며, 클라우드 인프라 수준에서 추상화 계층을 찾는 개발자를 위한 서버리스 클라우드 플랫폼 개발에 주력하고 있다. Koyeb은 [경쟁사 C]와 [경쟁사 D]와 경쟁하며, 개발자가 코드 저장소와 통합한 후 명령줄 인터페이스(CLI) 또는 git push를 사용하여 여러 가상 머신에 애플리케이션을 배포할 수 있도록 한다. 이 플랫폼은 Docker 컨테이너와 다양한 인기 언어를 지원한다.
Koyeb의 핵심 기능 중 하나는 애플리케이션의 필요에 따라 수백 대의 서버까지 자동으로 확장하고, 트래픽이 적을 때는 서버 인프라를 자동으로 축소하는 것이다.
최근 몇 달 동안 Koyeb은 특히 AI 애플리케이션에 초점을 맞춰왔다. 플랫폼의 서버리스 특성 덕분에 AI 워크로드에 대한 낮은 지연 시간(low-latency) 경험을 제공할 수 있다.
하드웨어 측면에서도 Koyeb은 데이터 센터에 Tenstorrent의 PCIe 보드를 배치했다. 개발자들은 Tenstorrent의 저수준 TT-Metalium SDK에 접근하여 호스트 및 커널 프로그램을 작성할 수 있다.
개발자들은 Koyeb의 문서와 관리 패널에서 두 가지 새로운 유형의 인스턴스를 발견할 수 있다.
- TT-N300S 인스턴스: GDDR6 메모리 24GB, SRAM 192MB를 갖추고 있으며 최대 466 FP8 TFLOPS를 제공한다. 여기에 64GB RAM과 4 vCPU가 함께 제공된다.
- TT-LoudBox 인스턴스: N300S 칩 네 개로 구성되어 있다. 개발자는 96GB의 GDDR6, 768MB의 SRAM, 그리고 최대 1,864 FP8 TFLOPS를 얻게 되며, 256GB RAM과 16 vCPU를 지원한다.
이번 출시를 통해 Koyeb은 하드웨어에 구애받지 않는 클라우드 플랫폼으로 포지셔닝하고자 한다. Koyeb의 공동 설립자이자 CEO인 Yann Leger는 TechCrunch와의 인터뷰에서 "이는 ARM이 고성능 칩으로 서버 시장에 데뷔했던 상황을 떠올리게 합니다"라고 언급했다.
그는 "우리가 2013년~2014년경 Scaleway를 통해 시장에 ARM을 도입하며, 완전히 맞춤화된 서버를 제공한 경험을 바탕으로 다양한 아키텍처를 배포하고 여러 하드웨어를 운영해 온 경험을 가지고 있습니다"라고 덧붙였다.
Tenstorrent의 경우, 이 AI 칩 제조업체는 자신들의 오픈 소스 프로그래밍 모델을 중심으로 개발자 생태계를 구축하기 위한 파트너를 모색하고 있다. Nvidia의 AI 스택에 대한 대안을 제공하기 위해서는 공동의 노력이 필수적이다.