Тинькофф добавил собственного ассистента Олега в новую голосовую социальную сеть ClubHouse. Это является первой интеграцией голосового помощника и  технологий синтеза, а также распознавания речи в данной социальной сети, сообщает издание «Live24». 

Голосовой ассистент Олег будет находиться в сети в качестве полноценного пользователя. Он сможет дать модераторам комнат дополнительные возможности для общения с пользователями ClubHouse и модерирования дискуссий – благодаря своим способностям распознавания и синтеза речи в режиме реального времени (технологии Tinkoff VoiceKit). 

К примеру, ассистент сможет заходить в комнаты, слушать выступления спикеров, расшифровывать речь в режиме реального времени и вести текстовые трансляции в свой телеграмм-канал «Олег в Клабхаузе». Кроме того он умеет озвучивать вопросы говорящего, напоминать о тайминге, также он сможет выступать в роли модератора комнат в ClubHouse. 

Директор по технологиям искусственного интеллекта Тинькофф Павел Калайдин рассказал, что на данный момент команда голосового ассистента Олега проводит эксперименты с различными  пользовательскими сценариями в Клабхаусе, в которых наши технологии могут быть полезными создателям комнат или интересными слушателям.

«В продолжении распознавания коллективного голосового общения встает вопрос в суммаризации информации. Бывает нелегко воспринимать междомения, слова-паразиты, некоторую несвязность предложений, когда читаешь даже хорошо распознанную стенограмму. поэтому мы исследуем возможности очищения текста и выявления сути сказанного, чтобы текстовая транскрипция была более читаемой и короткой», — отметил Павел Калайдин.

Ассистент Тинькофф создан на технологиях распознавания и синтеза речи Tinkoff VoiceKit. Он представляет собой глубокие нейросетевые модели для синтеза и распознавания речи, которые в течение последних лет разрабатывались в Тинькофф в рамках стратегии AI First и которые также использовались для создания Олега — первого в мире финансового голосового помощника собственной разработки. Заявку на подключение Tinkoff VoiceKit можно оставить на сайте.