Исследователи Т-Технологий представили на конференции EMNLP-2026 семь новых методов дообучения языковых моделей. Решения сокращают время и затраты на вычисления, что критично при дефиците оборудования. Две работы посвящены опыту Т-Банка: компактную модель Qwen3-32B дообучили для корпоративных задач, заменив ею более 200 внутренних моделей. Теперь она обрабатывает 116 млн запросов ежемесячно, обходясь в 2,8–3,9 раза дешевле, чем модель Qwen3-235B, которая крупнее в семь раз. Новые методы (LIMe, F-GRPO, ESS, SimplexLoRA) повышают эффективность дообучения. Алгоритм KronSAE позволяет анализировать внутренние понятия модели и их связи, затрачивая на 40% меньше ресурсов, чем популярные аналоги. Коды всех методов и открытая версия корпоративной модели опубликованы для свободного использования командами в своих задачах. #Наука
- 16
- 14
- 7
- 4
- 2
- 2
- 1