Москва, Россия — 20 июля 2024 г.
Центр искусственного интеллекта Т-Банка (AI-Центр) открыл доступ к своей большой языковой модели T-lite. Индустриальные и внутренние бенчмарки показали, что T-lite показывает лучшие результаты в решении бизнес-задач на русском языке среди открытых моделей размером 7–8 млрд параметров. Об этом было объявлено на первой конференции Т-Банка по машинному обучению Turbo ML Conf.

Модель T-lite — это инструмент разработки. С ее помощью компании смогут создавать LLM-приложения для собственного использования без передачи данных третьим лицам. Например, ассистентов поддержки, которые могут автоматически обрабатывать запросы клиентов и предоставлять мгновенные ответы, инструменты для анализа и обобщения больших объемов текста, таких как отчеты или исследования, интеллектуальные поисковые системы, которые могут находить нужную информацию с учетом контекста, модели суммаризации текста.

T-lite выпущена в размере 8 миллиардов параметров. Параметры — это числовые значения, которые модель настраивает, чтобы лучше понимать и генерировать текст. Чем больше параметров, тем больше возможностей у модели для выполнения сложных заданий, но с увеличением размера также ухудшается экономическая эффективность модели. T-lite же после дообучения на конкретные бизнес-задачи в области обработки естественного языка (NLP) дает качество, сопоставимое с проприетарными моделями размером от 20 миллиардов параметров, но при этом в разы дешевле в эксплуатации.

На индустриальных и внутренних бенчмарках модель обогнала по показателям зарубежные llama3-8b-instruct и chat-gpt 3.5. При этом T-lite создана с использованием всего 3% вычислительных ресурсов, которые обычно требуются для такого типа моделей.

T-lite входит в Gen-T — это семейство собственных специализированных языковых моделей Т-Банка, которые умеют обучаться под решение конкретных узкоспециализированных задач. В отличие от универсальных моделей, таких как ChatGPT, технология Gen-T ориентирована на конкретные области и предлагает решения с максимальной адаптацией под нужды пользователя.

Артем Бондарь, руководитель NLP в Центре искусственного интеллекта Т-Банка:

«Разработка собственного семейства языковых моделей — это насущная необходимость по многим причинам. Существующие на рынке решения не закрывают всех задач, которые есть у нас, и не являются оптимальными.

Наши модели семейства Gen-T показали свою эффективность в наших сервисах, оптимальны по соотношению используемых мощностей и качеству. И мы готовы поделиться этой разработкой с другими компаниями, с пользователями, с профессиональным сообществом. Это наш вклад в развитие искусственного интеллекта в России».

Модель доступна разработчикам по ссылке.