사하라 AI가 마이크로소프트의 다중 모드 AI 수학 추론에 어떻게 혁신을 가져왔는가
마이크로소프트 연구팀이 AI 평가의 한계를 넓히기 위해 필요로 할 때, 그들은 사하라 AI에 도움을 요청했고, 그 결과는 세계가 기계 지능을 측정하는 방식을 재편하고 있습니다.
마이크로소프트 연구팀은 AI 평가의 한계를 넓히기 위해 사하라 AI에 도움을 요청했습니다. 함께 우리는 GPT-4V, Bard, Claude 및 Gemini와 같은 최신 모델을 테스트하는 데 사용되는 첨단 벤치마크인 MATHVISTA의 기초를 세웠습니다. 사하라 AI의 6,000개 이상의 정밀 라벨 데이터 포인트에 의해 강화된 MATHVISTA는 이제 세계가 기계 지능을 측정하는 방식을 재편하고 있습니다.
AI의 다음 세대는 단순히 더 큰 모델만으로 승리하지 않을 것입니다. 그것은 가장 높은 품질의, 가장 전문화된 데이터를 제어하는 사람에게 승리할 것입니다. 그리고 그것이 사하라 AI의 선두주자인 이유입니다.
전통적인 라벨링 서비스는 이 도전에 대비하지 못했습니다. 이 프로젝트는 추론 기반 주석, 주석 작성자의 철저한 테스트 및 세심한 논리적 정확성을 요구했습니다. 그래서 마이크로소프트 연구는 고성능 AI 데이터 서비스의 프리미엄 플랫폼인 사하라 AI를 선택했습니다.
기준을 높이다: 다른 곳이 어려움을 겪는 동안, 사하라 AI는 결과를 도출하다
오늘날 데이터 라벨링은 더 이상 단순한 태그나 기본 분류에 관한 것이 아닙니다. AI 모델이 더 정교해짐에 따라 복잡하고 높은 정밀도의 주석에 대한 필요성이 계속 증가하고 있으며, 대부분의 라벨링 회사는 따라가기 힘들어 하고 있습니다.
마이크로소프트의 MATHVISTA 구축은 벤치마크를 얼마나 높이 올려야 하는지를 증명했습니다. 이는 대부분의 제공자가 복잡성과 정밀도를 요구하는 주석을 제공할 수 없었기 때문에 원인입니다:
“이 프로젝트는 다른 데이터 라벨링 제공자, 특히 크라우드소싱 플랫폼에 상당한 도전을 안겼습니다. 이는 복잡한 지침에 대한 깊은 이해, 잠재적인 주석 작성자에 대한 철저한 테스트 및 논리적 추론을 포함하는 세심한 라벨링이 필요했습니다.”
— 하오 청, 수석 연구원, 마이크로소프트 연구
이 데이터 작업을 완료하기 위해, 우리의 주석 작성자는 단순히 데이터를 '라벨링'하는 것을 넘어서는 인지 작업을 여러 도메인에서 수행했습니다:
산수 및 대수 - 복잡한 방정식 해결
기하학 및 통계 - 시각적 패턴 해석
고급 STEM 논리 - 다단계 추론 체인
시간적 수치 추론 - 시계열 수학 분석
수치적 상식 - 시간적 지식
각 작업은 깊은 수학적 추론(방정식 해결, 그래프 해석, 대수적 구조)과 표면 인식(세기기, 숫자 읽기, 기본 패턴 매칭) 간의 구분을 요구했습니다.
주석 작성자가 수학적 추론을 포함하는지 여부를 판단하기 위해 검토해야 했던 이미지 유형의 예.
마이크로소프트가 사하라 AI를 선택한 이유
AI는 이제 원시 모델 크기만으로는 통과되지 않는 새로운 단계에 들어서고 있습니다. 진정한 경쟁력 있는 지능은 더 나은 데이터에 의존합니다: 더욱 구조화되고, 더 복잡하며, 더욱 맞춤형입니다.
그것이 사하라 AI가 제공하는 것입니다: 크라우드소싱된 제비가 아닌, 모호한 근사치가 아닌, 최고 수준의 AI 연구실이 실제로 신뢰할 수 있는 심층적이고 논리적이며 고정밀의 기업급 데이터입니다.
마이크로소프트의 경우, 사하라 AI는 경쟁적인 파일럿 단계에서 다음과 같은 것을 보여줌으로써 두드러졌습니다:
추론 능력에 기반한 전문 주석 작성자 선택
마이크로소프트의 작업 요구 사항에 맞춘 맞춤형 교육 모듈
검토자 감독 및 합의 검증을 포함한 다단계 품질 보증
정확성을 희생하지 않는 빠른 처리 시간
사하라 AI는 실제 세계의 수학적 추론 문제를 이미지, 그래프 및 텍스트에 기반하여 GPT-4V, Bard, Claude 및 Gemini와 같은 모델을 스트레스 테스트하기 위해 설계된 마이크로소프트의 오픈 소스 MATHVISTA에 사용된 6,000개 이상의 다중 모달 예제를 라벨링했습니다.
출시 이후, MATHVISTA는 전 세계 실험실과 연구자들에게 신뢰받는 벤치마크가 되었습니다, 학계 및 산업 전반에 걸쳐 대형 다중 모달 모델을 테스트하고 다듬는 데 응용될 수 있습니다:
13K+ 다운로드의 MATHVISTA 데이터 세트가 지난 한 달 동안 있었으며, 전체적으로 275,864 다운로드.
12개의 기초 모델을 평가하는 동료 심사 연구에서 사용되었습니다. 결과는 최고의 성능을 발휘한 모델(GPT-4V)이 다중 모달 수학적 추론에서 전체 정확도를 49.9%만 달성할 수 있었음을 보여주었습니다—이는 인간 성과보다 10.4% 낮은 수치입니다.
이 성공은 더 큰 진실을 강조합니다: 기업 AI의 미래는 전문적이고 정밀하게 라벨링된 데이터에 대한 접근에 의존하며, 품질, 속도 및 신뢰할 수 없는 상태에서 사하라 AI는 선도하는 기관들이 찾는 곳입니다.
증명되지 않은 주장으로 가득 찬 공간에서, 사하라 AI는 실제 기업 채택 및 측정 가능한 영향으로 차별화됩니다. 마이크로소프트 연구, MIT, 아마존 및 기타 글로벌 리더들은 이미 우리의 데이터 서비스에 의존하고 있으며, 이는 AI 혁신이 의존하는 지속 가능한 인프라를 구축하는 데 있어 사하라 AI의 역할을 강조합니다.
“사하라 AI에서는 AI의 미래가 과대 광고가 아니라, 입증된 결과와 지속 가능한 인프라로 정의될 것이라고 믿습니다. MATHVISTA에 대한 마이크로소프트 연구와의 협력은 전문적이고 고품질 데이터가 지능의 새로운 기준을 설정할 수 있음을 명확히 보여주는 예입니다. 이것은 시작에 불과합니다—우리는 일류 파트너와 협력하여 기업 AI가 진정으로 필요로 하는 신뢰할 수 있는 데이터와 인프라를 구축하기 위해 최선을 다하고 있습니다.”
— 션 렌, 공동 창립자 겸 CEO, 사하라 랩스
MATHVISTA에 대한 우리의 작업은 마이크로소프트와의 파트너십의 첫 번째 단계일 뿐입니다. 마이크로소프트 연구와 사하라 AI는 AI 혁신의 다음 물결을 형성하고 가능한 것에 대한 새로운 기준을 설정하기 위한 우리의 약속에 대해 열정적입니다.
사하라 AI와 함께 일하기
마이크로소프트 연구의 MATHVISTA를 지원하고 전 세계의 선도 AI 연구소를 지원하면서, 사하라 AI는 그 종류의 가장 진보된 데이터 서비스 플랫폼 중 하나를 구축했습니다.
글로벌 규모, 다중 모달리티 범위 및 인간 개입을 포함한 하이브리드 AI 접근 방식을 통해, 사하라 AI는 현대 AI 개발이 요구하는 정밀성과 신뢰성을 제공합니다:
글로벌 접근성: 35개 이상의 국가에서 200,000명 이상의 사전 검증된 라벨러에 접근 가능하며, 45개 이상의 언어 및 방언을 포함합니다.
다중 모달리티 범위: 텍스트, 이미지, 비디오 및 오디오 주석에 대한 포괄적인 지원.
다양한 도메인 전문성: 복잡한 수학적 추론부터 자연어 이해, 재무, 기술 등에 이르기까지.
AI + 인간 시너지: 속도와 정확성을 보장하기 위한 AI 중심 및 인간 개입 라벨링 접근 방식의 결합.
이렇듯, 마이크로소프트, 아마존, 스냅 및 MIT와 같은 기업들은 정확성, 속도 및 의존성이 무엇보다 중요한 상황에서 사하라 AI를 신뢰하고 있습니다.
사하라 AI가 여러분의 다음 AI 혁신을 어떻게 지원할 수 있는지 더 알아보세요: https://saharaai.com/data-services-enterprise
사하라 AI에 대하여: 사하라 AI는 AI를 보다 접근 가능하고 공정하게 만들기 위해 헌신하는 에이전틱 AI 회사입니다. 우리는 개인 에이전트가 여러분의 대표로 사고하고 실행할 수 있도록 하는 핵심 프로토콜, 인프라 및 애플리케이션을 구축합니다. 이를 위해서는 인프라가 신뢰할 수 있어야 합니다: 검증 가능한 실행, 시행 가능한 사용 정책 및 에이전트가 접촉하는 모든 도구, 모델 및 서비스에 대한 자동 가치 분배. 사하라는 이 기반 위에 개인 에이전트를 위한 글로벌 디지털 시장에 대한 솔루션인 Sorin을 포함하여, 에이전트 중심의 애플리케이션의 증가하는 제품군을 구축하고 있습니다. 현재 우리의 솔루션은 소비자, 포춘 500 기업 및 마이크로소프트, 아마존, MIT, 모더슨 및 스냅을 포함한 선도 연구소를 위한 AI 에이전트 및 고품질 데이터를 지원합니다.
