24 января 2024

Как боты адаптировались к новой GPT-реальности? Кейсы, инструменты и разбор полетов на Conversations’23

8 декабря в Москве прошла восьмая конференция по разговорному, а теперь и генеративному AI для бизнеса и разработчиков Conversations. Большинство событий индустрии в этом году определял ChatGPT, который стал причиной нейросетевого бума во всем мире. Почти каждый доклад конференции так или иначе был связан с внедрением, разработкой или практическим применением генеративного ИИ. Часть конференции была посвящена классической автоматизации и развитию AI-помощников в новой GPT-реальности.

Традиционно открывал Conversations доклад Кирилла Петрова, сооснователя Just AI. В своей презентации Кирилл собрал ключевые тренды генеративного ИИ на 2024 год, рассказал, какие препятствия ждут отечественные ИТ-компании и выделил ряд перспективных стартапов, за которыми стоит следить в обозримом будущем. Одной из тенденций GenAI Кирилл отметил концентрацию самых мощных LLM в руках ИТ-гигантов, которые будут доступны только из облаков вендоров. В open-source, по словам Кирилла, будут попадать более слабые модели. Также в ближайшее время нас ожидает появление большого количества мультимодальных моделей, которые будут работать с различными типами контента. А по мере того, как компании будут интегрировать новые технологии, произойдет переосмысление способов работы со знаниями и информацией – от поиска по внутренним базам знаний, до работы с клиентами и поиску по сайтам.

Из факторов, препятствующим быстрому развитию и распространению нейросетевых моделей в России, Кирилл выделил, прежде всего, санкции и изоляцию страны от самых современных моделей и строительства больших GPU кластеров. Но эти же факторы сдерживают конкуренцию. На втором месте идет недостаток венчурных инвестиций и, как следствие, небольшое количество стартапов в сфере ИИ на нашем рынке. Открытым также остается вопрос регулирования и безопасности больших языковых моделей, поэтому традиционно более быстрые и прогрессивные, чем в Европе, банки и корпорации сдерживаются вопросами безопасности, законами и политиками в части персональных и чувствительных данных.

Практическими кейсами применения самых мощных LLM на отечественном рынке поделились создатели GigaChat и YandexGPT. В топ бизнес-кейсов обеих компаний вошли вопросы поддержки, HR-задачи, маркетинг и продажи. Полина Гришина из SberDevices поделилась инсайтами разработки собственной LLM, а также подсветила затраченные ресурсы: например, для обучения GigaChat потребовалось 1024 GPU (такой мощности бы хватило, чтобы снабжать стадион Лужники электричеством 4 месяца) и 7,5ПБ данных (это 47 Государственных Российских библиотек)!

Для обсуждения технических вопросов, касающихся разработки и дообучения LLM на сцене собрались представители SberDevices, YandexGPT, Тинькофф и Альфа-Страхования. В рамках дискуссии «Изнанка LLM» эксперты обсудили внедрение и эксплуатацию open-source и собственных больших языковых моделей.

Вместе с появлением ChatGPT изменилась жизнь многих чат-ботов и голосовых помощников – о том, как проходила их трансформация рассказали спикеры из Тинькофф и Boto. Артем Бондарь, Тинькофф, поделился подробностями процесса внедрения ChatGPT в бота поддержки банка и тем, как команде удалось решить проблему галлюцинаций нейросети. Анна Бегиашвили, Boto, рассказала о том, как компания быстро адаптировалась к новым технологиям и занялась интеграцией LLM во все продукты: от ботов для обучения и адаптации до HR-ботов.

С аналитическим докладом выступил Тимофей Барсов, Markswebb, и представил новую систему оценки чат-ботов, рассказав, как она эволюционировала за последние несколько лет. По словам Тимофея, сегодня успех чат-бота на 50% состоит из его способности решать задачу клиента, на 45% из способности вести грамотный диалог с человеком и на 5% из удобства интерфейса.

Многие доклады были посвящены развитию речевых технологий. Юлия Короткова из Just AI рассказала о трендах в синтезе речи и управлении просодией для создания живого и естественного звучания. Спикер из ВКонтакте, Виталий Шутов, поделился методами нейросетевой обработки для реалтайм приложений – как работает потоковое распознавание речи, шумоочистка, эхоподавление, как восстановить потерянные аудиопакеты. Андрей Смолев из Yandex Cloud рассказал о том, как YaGPT меняет привычные процессы речевой аналитики.

Следующая конференция по разговорному AI Conversations пройдет в 2024 году. Следите за программой на сайте проекта.