Qwen3.8–27B адаптировали для агентной работы в Pi с помощью LoRA. На SWE-bench Pro Hard результат вырос с 29,4% до 62,7%, а на Terminal-Bench 2.1 — с 39,5% до 55,8%. Ещё с адаптером уходит на 55–62% меньше вызовов инструментов. На одной задаче базовая модель дошла до лимита в 100 шагов, а адаптированная уложилась в 8 вызовов. Оценки получены в Pi: по одной попытке на задачу, без режима thinking. На SWE-bench Pro проверили 51 задачу; для Terminal-Bench 2.1 в карточке есть расхождение — в таблице указано 86 задач, а в примечании 89. Веса уже опубликовали на Hugging Face, способ обучения обещают выложить в пятницу. Вот чем хороши открытые веса: можно настроить модель под свои инструменты и задачи 🧑💻
Развитие инфраструктуры и методов оптимизации для работы автономных ИИ-агентов
Похожие посты
- 👨💻 61
- 🎉 28
- 🤔 14
- 👏 9
- 🔥 7
- ❤ 6
- 🤣 83
- 🔥 32
- ❤ 10
- 🤨 5
- 👍 4
- 🗿 4