SpeechKit + Asterisk

1. Введение
2. Регистрация в Яндекс.Облако и получение API ключа
3. Использование скрипта для конвертации текста в речь
4. Использование скрипта распознования речи
5. Правки диалплана для работы с yandex speechkit
6. Скрипт выполняющий AMI запросы

Введение

Скорее всего, каждый сталкивался с функционалом банковских/коллекторских служб. Вам поступает звонок, вы отвечаете на вызов, а далее вам воспроизводится какое-то голосовое приветствие и спрашивают: «Хотите связаться с оператором, оставайтесь на линии.» За разработку данного функционала, была взята именно эта схема. Но я её решил немного доработать и прикрутить к ней функционал распознавания речи. Т.е. схема примерно такая:

— … Если хотите связаться с оператором, скажите «Да»
— Да

Далее вызов направляется к оператору.

Для реализации текущей задачи воспользуемся платным сервисом Yandex SpeechKit.

Далее в этой статье будем рассматривать как пользоваться API Yandex SpeechKit. Как привязать функционал TTS и STT к астериску.

Регистрация в Яндекс.Облако и получение API ключа

Сперва потребуется создать аккаунт в сервисе Яндекс.Облако. Для этого необходимо перейти на их сайт https://cloud.yandex.ru/. В правом верхнем углу нажать кнопку «Войти». Для лиц не зарегистрированных она будет серого цвета. Вас перекинет на окно, где вам будет предложено ввести логин и пароль от вашего аккаунта или зарегистрироваться, как новый пользователь. Далее будем проводить все действия, как новый пользователь сервисов яндекс, поэтому чтобы пройти регистрация необходимо нажать «Зарегистрироваться»

Далее следуя инструкция создаем аккаунт. Завершив регистрацию, вас снова перекинет на основную страницу http://cloud.yandex.ru/. На текущей странице вы сможете увидеть приглашение подключиться к «Облаку». Для этого нажимаем на желтую кнопку «Подключиться».

После того, как вы проделаете этот шаг, вас поприветствует консоль сервиса. И для дальнейшей работы необходимо будет заполнить некоторые данные в Яндекс.Паспорт. А именно — привязать мобильный номер к вашему аккаунту. И для быстрого доступа к паспорту в приветствии есть ссылка на «Паспорт». Она выделена синим цветом.

После перехода по ссылке вас попросят ввести ваш номер телефона. Нажав на «Добавить». Необходимо будет ввести 6ти значный код безопасности, который придёт в СМС сообщении на указанный ранее номер телефона и пароль указанный при регистрации.

После привязки мобильного номера вы снова окажетесь в окне консоли «Облака». Нужно привязать банковскую карту к аккаунту. Данные действия также выполняются в «Паспорте». Чтобы попасть в настройки «Яндекс.Паспорт» щелкните мышкой по значку человека в правом верхнем углу, в появившейся «шторке» выберем пункт «Настройки».

Теперь перейдем в раздел «Паспорт» расположенный сверху в меню.

На открывшейся странице пролистнём вниз до радела «Банковские карты». Теперь надо нажать «Добавить карту».

Далее, следуя инструкциям, добавляем банковскую карту, с которой будете оплачивать услуги «Яндекс.Облако».

Завершив добавление карты, перейдем в консоль управления «Яндекс.Облако». Теперь необходимо создать сервисный аккаунт, для получения API ключа. Для этого в правом верхнем углу выберем нужное облако.

В появившейся странице, у вас отобразится список «каталогов». Изначально он там один. Поэтому кликаем по нему, чтобы перейти в его детальные настройки.

И слева в меню нужно выбрать «Сервисные аккаунты». Именно в этом разделе мы будем создавать нужный нам аккаунт для получения API ключа.

Справа в окне вы увидите желтую кнопку «Создать сервисный аккаунт». Кликаем по ней и переходим в форму, для заполнения данных по создаваемому аккаунту. Здесь нужно указать Имя аккаунта и роль пользователя, выбираем роль admin. После указания всех данных нажимаем «Создать». Также вас попросит добавить банковскую карту. Следуя инструкциям добавляем карту.

Теперь в списке сервисных аккаунтов мы можем видеть добавленный нами «акк». Перейдем в его настройки, кликнув по его имени.

Передвами появится информация аккаунта: его идентификатор, имя сервисного аккаунта, дата создания и роль в каталоге. Правее вы увидите раздел «Создать новый ключ». В выпавшей вкладке выбираем «Создать API-ключ».

Сначала диалоговое окно вам предложит ввести описание этого API ключа. И нажимаем «Создать».

Далее выведется информация о идентификаторе API ключа и сам ключ.

Использование скрипта для конвертации текста в речь

Для конвертирования текста в речь, будем использовать скрипт на языке python версии 3. Но чтобы все заработало необходимо установить необходимые пакеты. Для этого выполним следующие команды

# yum install epel-release
# yum insatll python34 python34-dev python34-setuptools
# pip3.4 install requests sox

Далее, создадим директорию, из которой будут работать наши скрипты. Команда mkdir поможет нам в этом.

# mkdir /opt/yandex_speech/

Создадим файл speech.py со следующим содержимым.

#!/usr/bin/env python3.4

import argparse
import requests
import sox
import os

def synthesize(output, text):
        url = 'https://tts.api.cloud.yandex.net/speech/v1/tts:synthesize'
        headers = {
                'Authorization': 'Api-Key ' + 'ВАШ API КЛЮЧ',
        }

        data = {
                'text': text,
                'lang': 'ru-RU',
                'voice': 'alyss',
                'emotion': 'good',
                'format': 'lpcm',
                'sampleRateHertz': '8000'
        }

        with requests.post(url, headers=headers, data=data, stream=True, verify=False) as resp:


                if resp.status_code != 200:
                        raise RuntimeError("Invalid response received: code: %d, message: %s" % (resp.status_code, resp.text))
                for chunk in resp.iter_content(chunk_size=None):
                        yield chunk

if __name__ == "__main__":
        parser = argparse.ArgumentParser()
        parser.add_argument("--text", required=True, help="Text for synthesize")
        parser.add_argument("--output", required=True, help="Output file name")
        args = parser.parse_args()
        with open(args.output, "wb") as f:
                for audio_content in synthesize(args.output, args.text):
                        f.write(audio_content)
        tfm = sox.Transformer()
        tfm.set_input_format(file_type='raw', rate=8000, bits=16, channels=1, encoding='signed-integer')
        tfm.build(args.output, args.output+'.wav')
        os.remove(args.output)

Этот файл будет принимать два параметра:

• text – указывается текст который мы хотим конвертировать в речь
• output – полный путь к сохраняемому звуковому файлу

Сохраним изменения в файле и дадим этому файлу права на исполнение с помощью chmod.

# chmod +x /opt/yandex_speech/speech.py

Теперь синтезируем текст для нашего примера под каждый шаг нашей логики: приветствие, информирование клиента, прощание

# /opt/yandex_speech/speech.py --output='/var/lib/asterisk/sounds/ru/custom/hello' --text='Добрый день. Вас приветствует фирма Рога и Копыта.'
# /opt/yandex_speech/speech.py --output='/var/lib/asterisk/sounds/ru/custom/operator' –text='Если хотите связаться с оператором произнесите ДА'
# /opt/yandex_speech/speech.py --output='/var/lib/asterisk/sounds/ru/custom/goodbye' –text='Спасибо за обращение. До свидания'

Использование скрипта распознования речи

Ранее мы рассмотрели скрипт для конвертирования текста в речь. Но для правильной работы, нужно также сделать и обратно. Для этого создадим файл stt.py в тойже директории.

#!/usr/bin/env python3.4
import urllib.request
import json
import sys
import os

file=sys.argv[1]

FOLDER_ID = "default"
API = "ВАШ API КЛЮЧ"

with open(file, "rb") as f:
    data = f.read()

params = "&".join([
    "topic=general",
    "format=lpcm",
    "sampleRateHertz=8000",
    "lang=ru-RU"
])

url = urllib.request.Request("https://stt.api.cloud.yandex.net/speech/v1/stt:recognize?%s" % params, data=data)
url.add_header("Authorization", "Api-Key %s" % API)

responseData = urllib.request.urlopen(url).read().decode('UTF-8')
decodedData = json.loads(responseData)

os.remove(file)

if decodedData.get("error_code") is None:
    resp=decodedData.get("result")
    if resp.startswith('да') or resp.startswith('хорошо') or resp.startswith('ага') or 'оператор' in resp:
      print('yes',end='')
    elif resp.startswith('нет'):
      print('no',end='')
    elif 'абонент' in resp:
      print('no',end='')
    elif 'авто' in resp:
      print('no',end='')
    elif resp=='':
      print('no',end='')
    else:
      print('dont',end='')

Этот скрипт обращается к API yandex и передает в сервис записанный аудио файл, этот файл передается в параметре к скрипту, и возвращает ответ с распознанным текстом. Пример использования этого скрипта будет в следующем разделе статьи.

Как и в прошлом разделе скрипту необходимо дать права на исполнение

Правки диалплана для работы с yandex speechkit

По-скольку скрипт будет периодически обзванивать номера, то создадим контекст, в котором будут обрабатываться приветсвия и запись ответа клиента. Для этого в файл /etc/asterisk/extensions_custom.conf добавим следующие строки.

[dialer]
exten => 123,1,Answer()
exten => 123,n,Noop(${ORDER})
exten => 123,n,Playback(/opt/yandex_speech/hello)
exten => 123,n,Playback(/opt/yandex_speech/operator)
exten => 123,n,Monitor(wav,/tmp/${UNIQUEID},o)
exten => 123,n,Wait(2)
exten => 123,n,StopMonitor()
exten => 123,n,Set(RESULT=${SHELL(/usr/bin/python3.4 /opt/yandex_speech/stt.py /tmp/${UNIQUEID}-in.wav)})
exten => 123,n,Noop(${RESULT})
exten => 123,n,GotoIf($["${RESULT}" = "yes"]?yes)
exten => 123,n,Playback(/opt/yandex_speech/goodbye)
exten => 123,n,Hangup()
exten => 123,n(yes),Playback(/opt/yandex_speech/transfer)
exten => 123,n,Goto(ext-queues,600,1)
exten => 123,n,Hangup()

Данные строки сработают сразу после того, как абонент ответит на входящий вызов.

Сначала, воспроизводится приветствие с представлением компании, далее предлагается перевести на оператора.

Сразу включается запись разговора на 2 секунды. Затем останавливается запись. Она передается параметром. Результат выполнения скрипта заносится в переменную RESULT. И в зависимости от результата направляется вызов или на прощание или на очередь операторов.

Скрипт выполняющий AMI запросы

Чтобы вызовы совершались автоматически необходимо написать скрипт, который будет формировать Originate и отправлять его на Asterisk.

from asterisk.ami import AMIClient
from asterisk.ami import SimpleAction
from time import sleep
import logging



client = AMIClient(address='127.0.0.1',port=5038)
try:
        client.login(username='username',secret='password')
except:
        logging.error("Invalid AMI username or password")

def dialer(client,number):
        import re
        if re.match(r'(^[78]?9[0-9]{9}$)|(^[78]?495[0-9]{7}$)',number) != None:
                action = SimpleAction(
                        'Originate',
                        Channel='Local/'+str(number)+'@from-internal',
                        Exten='2010',
                        Priority=1,
                        Context='default',
                        CallerID='python',
                )
                client.send_action(action)
        else:
                logging.info("Number = {} is not equal by pattern _[78]9XXXXXXX or _[78]495XXXXXXX".format(number))

if __name__ == "__main__":
        dialer(client,84959898533)
        sleep(60)

Здесь используется питоновская библиотека asterisk-ami. Её нужно будет установить командой pip3.4 install asterisk-ami. В данном примере вызов генерируется каждую минуту. Значение можно изменить в параметре sleep().

Осталось запустить скрипт.

/opt/yandex_speech/caller.py