Как Sahara AI способствовала прорыву Microsoft в многомодальном математическом рассуждении
Когда Microsoft Research решила расширить границы оценки ИИ, они обратились к Sahara AI, и результаты меняют представление о том, как мир измеряет машинный интеллект.
Когда Microsoft Research начала работать над расширением границ оценки ИИ, они обратились к Sahara AI. Вместе мы построили основу MATHVISTA—современного эталона, используемого для тестирования ведущих моделей, таких как GPT-4V, Bard, Claude и Gemini. Поддерживаемый более 6000 точно размеченных данных от Sahara AI, MATHVISTA сейчас меняет представление о том, как мир измеряет машинный интеллект.
Следующее поколение ИИ не будет победителем только за счет больших моделей. Победителями станут те, кто контролирует данные самого высокого качества и самой специальной направленности, и именно здесь Sahara AI ведет.
Традиционные услуги маркировки не были готовы к такой задаче. Этот проект требовал разумного аннотирования, строгого тестирования аннотаторов и тщательной логической точности. Именно поэтому Microsoft Research выбрала Sahara AI, премиум-платформу для высокопроизводительных данных ИИ.
Поднимая планку: где другие испытывали трудности, Sahara AI добилась успеха
Маркировка данных сегодня не сводится к простым тегам или базовой категоризации. По мере того как модели ИИ становятся более передовыми, потребность в сложных, высокоточном аннотировании продолжает расти, и большинство компаний по маркировке испытывают трудности с тем, чтобы не отставать.
Создание MATHVISTA для Microsoft доказало, насколько высока поднята планка, требуя разумного аннотирования, которое большинство провайдеров не могли предложить, учитывая необходимую сложность и точность:
“Этот проект поставил перед другими поставщиками услуг маркировки данных значительные проблемы, особенно перед платформами краудсорсинга, так как он требовал глубокого понимания сложных инструкций, строгого тестирования потенциальных аннотаторов и тщательной маркировки с использованием логического мышления.”
— Хао Ченг, старший исследователь, Microsoft Research
Чтобы выполнить эти задачи с данными, наши аннотаторы не просто «маркировали» данные; они выполняли когнитивную работу в различных областях, таких как:
Арифметика и алгебра - Решение сложных уравнений
Геометрия и статистика - Интерпретация визуальных паттернов
Продвинутая логика STEM - Многоступенчатые цепочки рассуждений
Темпоральное числовое рассуждение - Математический анализ временных рядов
Общие знания в числах - Темпоральные знания
Каждая задача требовала различения между глубоким математическим рассуждением (решение уравнений, интерпретация графиков, алгебраическая структура) и поверхностным распознаванием (подсчет, чтение чисел, базовое сопоставление шаблонов).
Пример типов изображений, которые аннотаторы должны были просмотреть, чтобы определить, включают ли они математическое рассуждение или нет.
Почему Microsoft выбрала Sahara AI
ИИ вступает в новую фазу, когда одного лишь размера модели недостаточно. Реальный, конкурентоспособный интеллект зависит от лучших данных: более структурированных, более сложных и более индивидуальных.
Вот что предоставляет Sahara AI: не краудсорсинговые данные или неопределенные приближения, а логические, высокоточные данные уровня предприятия, которым могут доверять ведущие лаборатории ИИ.
Для Microsoft Sahara AI выделилась в конкурентной пилотной фазе, продемонстрировав:
Экспертный отбор аннотаторов на основе способности рассуждать
Пользовательские учебные модули, соответствующие требованиям задач Microsoft
Многофазное обеспечение качества, включая контроль со стороны рецензентов и подтверждение консенсуса
Быстрые сроки выполнения без ущерба для точности
Sahara AI разметила более 6000 мультимодальных примеров, использованных в том, что стало открытым исходным кодом Microsoft MATHVISTA—ведущим эталоном, предназначенным для стресстестирования моделей, таких как GPT-4V, Bard, Claude и Gemini, по задачам математического рассуждения из реальной жизни, основанным на изображениях, графиках и текстах.
С момента выпуска MATHVISTA стал надежным эталоном для лабораторий и исследователей по всему миру, с применением в тестировании и улучшении крупных мультимодальных моделей в академической среде и промышленности:
Более 13K загрузок набора данных MATHVISTA за последний месяц, с 275864 загрузками за все время.
Использован в рецензируемом исследовании, оценивающем 12 базовых моделей. Результаты показали, что лучшая производительная модель (GPT-4V) смогла достичь общей точности только 49,9% в мультимодальном математическом рассуждении—на 10,4% ниже человеческой производительности.
Этот успех подчеркивает большую истину: будущее корпоративного ИИ зависит от доступа к специализированным, высокоточным размеченным данным, и Sahara AI является тем местом, куда обращаются ведущие учреждения, когда качество, скорость и доверие не подлежат компромиссу.
В пространстве, заполненном неопровергнутыми заявлениями, Sahara AI выделяется реальным корпоративным приемом и измеримым воздействием. Microsoft Research, MIT, Amazon и другие мировые лидеры уже полагаются на наши сервисы данных, подчеркивая роль Sahara AI в создании долговечной инфраструктуры, от которой зависит инновация ИИ.
“В Sahara AI мы верим, что будущее ИИ будет определяться не хайпом, а доказанными результатами и долговечной инфраструктурой. Наше сотрудничество с Microsoft Research по MATHVISTA является ясным примером того, как специализированные, высококачественные данные могут установить новые стандарты для интеллекта. Это только начало—we commit to working with world-class partners to build the trusted data and infrastructure that enterprise AI truly needs.”
— Шон Рен, соучредитель и CEO, Sahara Labs
Наша работа над MATHVISTA—это только первый шаг в нашем партнерстве с Microsoft. Как Microsoft Research, так и Sahara AI настроены на будущее сотрудничество, объединившись в стремлении формировать следующую волну инноваций ИИ и устанавливать новые стандарты для возможного.
Работайте с Sahara AI
От поддержки MATHVISTA Microsoft до поддержки ведущих лабораторий ИИ по всему миру, Sahara AI создала одну из самых продвинутых платформ услуг данных в своем роде.
С глобальной шкалой, многомодальной охватом и гибридным подходом ИИ + человека в процессе, Sahara AI предоставляет точность и надежность, которые требуют современные разработки ИИ:
Глобальный охват: Доступ к более чем 200000 предварительно проверенным маркировщикам в более чем 35 странах, охватывающим более 45 языков и диалектов.
Многомодальная охват: Комплексная поддержка аннотирования текста, изображений, видео и аудио.
Разнообразная экспертиза в области: От сложного математического рассуждения до понимания естественного языка, финансов, технологий и многого другого.
Синергия ИИ + человека: Совмещенный подход маркировки, ориентированный на ИИ и включающий человеческий фактор, для обеспечения как скорости, так и точности.
Именно поэтому такие компании, как Microsoft, Amazon, Snap и MIT доверяют Sahara AI, когда точность, скорость и надежность являются обязательными условиями.
Узнайте больше о том, как Sahara AI может обеспечить ваш следующий прорыв в ИИ: https://saharaai.com/data-services-enterprise
О Sahara AI: Sahara AI — это агентная компания по разработке ИИ, стремящаяся сделать ИИ более доступным и справедливым. Мы разрабатываем основные протоколы, инфраструктуру и приложения, которые позволяют личным агентам предвидеть и выполнять ваши задачи. Чтобы это работало, инфраструктура должна быть надежной: поддающейся проверке реализации, обязательными условиями использования и автоматическим распределением ценности через каждый инструмент, модель и сервис, к которым обращается агент. Sahara строит растущий набор приложений с поддержкой агентов на этой основе, включая Sorin, вашего личного агента для глобальных цифровых рынков. Наши решения в настоящее время поддерживают ИИ-агентов и высококачественные данные для потребителей, компаний списка Fortune 500 и ведущих исследовательских лабораторий, включая Microsoft, Amazon, MIT, Motherson и Snap.
