Кейс: MyShell масштабирует сбор данных и маркировку для улучшения голосовых моделей с Sahara AI

26 сент. 2024 г.

Задача: удовлетворение высоких требований к разнообразным аудиоданным

MyShell Al, децентрализованная ИИ-платформа, соединяющая потребителей, создателей и исследователей с открытым исходным кодом, поставила перед собой задачу создать передовые модели преобразования текста в речь (TTS) и клонирования голоса. Для этого MyShell потребовались высококачественные, многоязычные, разнообразные по акцентам аудиоданные, предоставляемые быстро и эффективно. Однако они столкнулись с несколькими ключевыми проблемами до того, как начали сотрудничество с Sahara AI:

  • Поиск поставщиков: Найти поставщиков данных, способных предоставить акустически специфичную аудиоданные в больших масштабах, было сложно.

  • Высокие затраты и неэффективность: Процессы разметки данных были дорогостоящими и медленными, что сказалось на качестве.

  • Задержки в обучении модели: Долгие циклы обратной связи мешали быстрой адаптации и улучшениям модели.

Эти препятствия ограничивали возможность MyShell экспериментировать с новыми архитектурами модели и повышать свои AI-ориентированные приложения.

Встречайте Sahara AI.

"Преданность MyShell разработке моделей с открытым исходным кодом нашла надежного союзника в точных услугах разметки данных Sahara AI через их платформу Sahara Data. Их вклад является основой нашего видения доступного ИИ. Вместе мы прокладываем путь к инновациям и открытой коллаборации."
— Команда MyShell

Решение: доставка высококачественного сбора данных и разметки в больших масштабах

Платформа Sahara AI Sahara Data предоставила MyShell комплексное решение по трем ключевым проектам. Используя децентрализованный, основанный на ИИ сбор и фильтрацию данных, мы позволили MyShell эффективно собирать высококачественные, разнообразные наборы данных в больших масштабах.

Проект 1: Сбор образцов аудио – короткие предложения

Sahara AI предоставила 11,980 образцов аудио коротких предложений на различных английских акцентах, включая:

  • Английский с китайским акцентом

  • Английский с американским акцентом

  • Английский с индийским акцентом

  • Английский с британским акцентом

Это позволило MyShell начать обучение их моделей звучания с широким разнообразием глобальных акцентов.

Проект 2: Сбор образцов аудио – длинный текст

Чтобы еще больше улучшить возможности модели MyShell, Sahara AI предоставила длинные текстовые аудио-примеры на нескольких языках и акцентах, обеспечивая разнообразие голосовых данных:

  • Английский с китайским акцентом: 13,000 образцов

  • Английский с американским акцентом: 18,000 образцов

  • Английский с индийским акцентом: 14,000 образцов

  • Английский с австралийским акцентом: 3,000 образцов

  • Английский с британским акцентом: 2,000 образцов

  • Английский с немецким акцентом: 13,003 образца

  • Китайский: 14,068 образцов

Этот широкий диапазон данных обеспечил MyShell возможность обучать их модели для более глобальных приложений.

Проект 3: Фильтрация данных

Инфраструктура Sahara AI человек в цикле позволила отфильтровать более 180,000 образцов аудио на различных языках. Тщательно оценивая и уточняя данные, мы обеспечили использование только образцов высшего качества, включая:

  • Французский: 47,678 образцов

  • Испанский: 50,876 образцов

  • Немецкий: 40,190 образцов

  • Русский: 46,238 образцов

Это позволило MyShell сосредоточиться на точности модели, не пожертвовав качеством данных.

Результат: более 2 миллионов загрузок и тысячи звёзд на Github

С децентрализованным сбором и фильтрацией данных от Sahara Data, MyShell удалось значительно улучшить процесс обучения модели. Ключевые результаты включали:

  • Быстрое обучение модели: MyShell адаптивно обучала и улучшала свои модели TTS и клонирования голоса, используя данные в реальном времени, что значительно сократило время выхода на рынок.

  • Успех с открытым исходным кодом: Сотрудничество привело к успешной разработке и открытию VoiceClone и MeloTTS, которые собрали тысячи звёзд на GitHub и более 2 миллионов загрузок на Hugging Face.

Измените свою стратегию ИИ с Sahara Data

Sahara Data разработана для удовлетворения самых сложных требований к обучающим данным. Будь то через децентрализованную инфраструктуру или локальное развертывание, Sahara Data предоставляет подход, сохраняющий конфиденциальность, ориентированный на ИИ и с участием человека в процессе, который обеспечивает ценные наборы данных для обучения ИИ.

Sahara Data в цифрах:

  • 31+ корпоративный клиент

  • 35+ стран, обслуживаемых

  • 45+ охватываемых языков и диалектов

  • 150+ партнеров-поставщиков

  • 30,000+ проверенных тренеров ИИ

Почему выбирают Sahara Data?

  • Автоматическая разметка: Собственные модели ИИ выполняют разметку, достигая производительности на уровне человека в основных задачах.

  • Уточнение с участием человека: Человеческие эксперты уточняют и проверяют метки, чтобы гарантировать высшее качество данных.

  • Непрерывное обучение: Модели учатся на основе человеческого ввода, улучшая точность разметки с течением времени.

В результате этой оптимизированной коллаборации Sahara AI помогла MyShell собрать точные, высококачественные наборы данных, необходимые для эффективного и экономичного обучения моделей, что является ключевым фактором успеха их проекта.

Если вы готовы масштабировать сбор данных и улучшить ваши модели ИИ с помощью Sahara Data, свяжитесь с нами сегодня, чтобы обсудить, как наша платформа может поддержать ваши потребности в обучении ИИ.

Что нового в Sahara AI