У автономных ИИ-агентов есть ещё один способ работать быстрее — оптимизировать инфраструктуру вокруг моделей. Evolving Infra распределяет ресурсы по этапам обработки запроса и сохраняет память, которую агенты могут использовать повторно. В тестах на программировании, математике и управлении компьютером запросы обрабатывались максимум в 4,1 раза быстрее, а первый токен при P95 появлялся до 14 раз быстрее, чем в NVIDIA Dynamo. Проверяли на GLM-5.2 и Kimi K2.6, с GPU GB300 — до 256 штук. Проект выложили на GitHub: основной код под MIT, а компоненты на базе SGLang и Trie — под Apache 2.0. Препринт исследователей из MIT, UC Berkeley и Georgia Tech появился на arXiv 9 ноября 2026 года 🧑💻
Развитие инфраструктуры и методов оптимизации для работы автономных ИИ-агентов
Похожие посты
- 👨💻 61
- 🎉 28
- 🤔 14
- 👏 9
- 🔥 7
- ❤ 6
- 🤣 83
- 🔥 32
- ❤ 10
- 🤨 5
- 👍 4
- 🗿 4