Открытые речевые библиотеки — решения, тесты и рекомендации

Система Воск представляет собой open‑source решение для STT и TTS, предназначенное для интеграции с Asterisk и другими платформами телефонии. Она поддерживает потоковое распознавание в реальном времени, множество языков и широкий набор функций речевых технологий. В данной статье рассматриваются современные тенденции в области речевых систем и сложные аспекты их тестирования.

Эволюция технологий распознавания речи

За последние два года произошёл качественный скачок: на смену традиционным моделям пришли мультимодальные большие языковые модели. Если несколько лет назад в приоритете был OpenAI Whisper, то сегодня популярны гибридные и мульти‑модальные решения. В результате архитектуры речевых систем усложнились, появились новые компоненты и требования к интеграции.

Многокомпонентная архитектура

Современная речевая система для телефонии включает не только распознавание голоса, но и:

• Идентификацию говорящего (speaker recognition).
• Управление диалогом с поддержкой перебиваний и корректным отслеживанием контекста.
• Оценку качества звука в реальном времени (нейросети анализируют параметры канала и передают статистику разработчикам).
• Семантический анализ на основе LLM, позволяющий не только транскрибировать, но и интерпретировать смысл сказанного.
  Компоненты могут поставляться разными разработчиками: открытые библиотеки, коммерческие API, модели от китайских и европейских команд.

Основные метрики распознавания

• Word Error Rate (WER)
  Стандартная метрика, рассчитываемая как сумма подстановок, вставок и удалений, делённая на число слов в эталонной транскрипции. Для систем телефонии типичный WER составляет 15–20 %.
• Стабильность в шуме
  Некоторые модели демонстрируют хорошую точность в чистом канале, но быстро деградируют при появлении помех; другие, наоборот, менее точны, но более устойчивы.
• Точность распознавания ключевых элементов
  В бизнес‑приложениях критично распознавать фамилии и названия („сложные слова“), на что WER реагирует лишь косвенно. Специальные тесты по семантике и именам необходимо конструировать отдельно.
• Семантический WER
  Использование LLM для оценки, было ли правильно понято общее сообщение, даже если отдельные слова искажены. Этот метод позволяет сравнивать две системы без эталонных транскрипций — достаточно спросить LLM, какое распознавание ближе к оригиналу.

Дополнительные характеристики

• Задержка первого и финального ответа — время до появления первых символов и до окончательной транскрипции.
• Скорость обработки — пропускная способность в реальном времени.

Идентификация и диаризация:

• Equal Error Rate (EER) для speaker recognition, отражает баланс ложных срабатываний и пропусков. Топ‑модели NVIDIA хороши для английского, но менее эффективны для русского; китайская модель VoxBing 2 показывает лучшие результаты на русскоязычных данных.
• Diarization Error Rate (DER) для разделения голосов в записи. Метрика изначально заточена под длиные сегменты (телевизионные дискуссии) и плохо отражает сложность коротких телефонных диалогов.

Синтез речи и его тестирование

Современный TTS настолько качественен, что субъективная оценка становится ненадёжной. Для автоматизации тестирования используют:

1. Ошибка распознавания синтезированной речи (SER) — синтезируем фразы из целевой предметной области, прогоняем через STT и считаем WER.
2. Оценочные нейросети:UTMAS для качества артикуляции. Биометрические модели для оценки сходства голоса оригинала и синтеза.
3. Интонационные метрики — анализ выраженности эмоционального окраса.
4. Вариативность синтеза — способность генерировать одну и ту же фразу с разными интонациями и артикуляцией; важна для естественности, но усложняет тестирование.

Итоги и рекомендации по тестированию

• Тестирование современных речевых систем требует большого объёма данных и сочетания метрик.
• Необходимо сочетать «чёрный ящик» (готовые API) и «белый ящик» (учёт особенностей алгоритмов) для выявления узких мест.
• Автоматизированное тестирование лучше отражает реальную производительность, чем «араны» с парными прослушиваниями.
• При выборе систем важно учитывать компромисс между точностью, стабильностью в шуме, задержкой и семантической корректностью.