🗞 Крошечные модели для локальных агентов: 0,8B для решений и 4B для девайсов Сразу две компактные модели выходят с одной идеей: чтобы ИИ-агент работал прямо на устройстве, а не в облаке. qev-0.8b — «диспетчер» для агентов. Это модель на 0,8 млрд параметров, которую авторы называют новым SOTA среди крошечных моделей для принятия решений. Смысл: агент постоянно делает мелкие выборы — какой инструмент вызвать, нужен ли ещё шаг, как маршрутизировать запрос. Гонять ради этого большую модель в облаке медленно и дорого, а крошечная решает ту же задачу локально за доли секунды. Выгода: 0,8B параметров — это меньше гигабайта памяти в квантованном виде, то есть влезает на обычный ноутбук и не требует дорогого GPU. Кому: разработчикам агентов и тем, кто запускает модели локально. Оговорка: заявка «SOTA» не подкреплена независимыми замерами, а «модель для решений» — узкий инструмент, а не замена чат-модели. Spark-X2.6-4B — компактная модель для устройств. Обновление линейки с той же архитектурой, что у X2.5-4B, но с приростом качества за счёт улучшенного обучения. 4 млрд параметров — уровень, на котором модель реально живёт на телефоне и ноутбуке. Сохранение архитектуры — плюс: существующие инструменты, форматы и GGUF-сборки продолжают работать без переделки, а готовые кванты уже выложены. Кому: командам, которые катят модели на устройства и используют GGUF. Оговорка: часть описания в источнике обрезана, конкретных цифр прироста нет, релиз близок к превью и без независимых тестов. Ссылки: Spark-X2.6-4B-GGUF — https://huggingface.co/XHToken/Spark-X2.6-4B-GGUF ; qev-0.8b — обсуждение на r/LocalLLaMA. ━━━━━━━━━━━━━ 📎 Источники: • qev-0.8b · New SOTA tiny local decision model • XHToken/Spark-X2.6-4B · Hugging Face
- 1