벤치마킹 강자인 Primate Labs가 목요일에 Geekbench AI 1.0을 출시했다. 이 앱은 현재 안드로이드, 리눅스, macOS 및 윈도우에서 사용할 수 있으며, 플랫폼 전반에 걸쳐 성능 평가를 표준화하기 위해 Geekbench의 원칙을 머신러닝, 딥러닝 및 기타 AI 워크로드에 적용한다. 이는 2021년에 발표되었고 현재 버전 0.6인 Geekbench ML(머신러닝)의 후속작이다. Primate Labs는 이름 변경에 대해 "최근 몇 년 동안 기업들은 이러한 종류의 워크로드(및 관련 마케팅)에서 'AI'라는 용어를 사용하는 데 집중해 왔다"고 밝히며, "엔지니어부터 성능 애호가까지 모두가 이 벤치마크가 무엇을 하는지, 그리고 어떻게 작동하는지 이해할 수 있도록 업데이트할 때라고 느꼈다"라고 설명했다.
이 주 초, 챗GPT 개발사 OpenAI는 자체 AI 모델 벤치마크의 새 버전을 발표했다. SWE-bench Verified는 '인간 검증(human-validated)'을 사용하여 모델이 '실제 문제'를 해결하는 효과를 판단하는 서비스다.
지난 목요일, 성능 측정 분야의 강자인 Primate Labs가 Geekbench AI 1.0을 출시했습니다. 현재 Android, Linux, MacOS 및 Windows를 지원하는 이 앱은 Geekbench의 원리를 머신러닝, 딥러닝 및 기타 AI 워크로드에 적용하여 플랫폼 전반의 성능 평가를 표준화하는 것을 목표로 합니다. 이는 2021년에 발표되었고 현재 버전 0.6인 Geekbench ML(머신러닝)의 후속작입니다.
Primate Labs는 이러한 명칭 변경에 대해 "최근 몇 년 동안 기업들이 이러한 유형의 워크로드(및 관련 마케팅)에서 'AI'라는 용어 사용에 집중해 왔습니다"라고 언급하며, "엔지니어부터 성능 애호가에 이르기까지 모든 사용자가 이 벤치마크의 목적과 작동 방식을 이해할 수 있도록 업데이트할 필요가 있다고 판단했습니다"라고 덧붙였습니다.
한편, ChatGPT 개발사 OpenAI는 이번 주 초 자사 AI 모델 벤치마크의 새 버전을 발표했습니다. SWE-bench Verified는 "실제 문제 해결"에서의 모델 효능을 판단하기 위해 인간 검증(human-validated)을 사용하는 서비스입니다.
[출처:] https://techcrunch.com/2024/08/15/geekbench-releases-ai-benchmarking-app