Для локального запуска DeepSeek-V4-Flash-0731 с 284 млрд параметров теперь хватает 64 ГБ ОЗУ без видеокарты 🧑💻 Авторы открытого проекта llama-modchip прикрутили к llama.cpp свои кванты: в среднем 1,72 бита на вес. Файлы занимают 56,9 ГиБ, а модель в памяти — около 58 ГиБ. На Ryzen 9 9955HX у авторов вышло 8,66 токена в секунду, промпт обрабатывался со скоростью 36–44 токена в секунду. Драфтер для правок кода и инструментов выдавал в среднем около 9, с пиками до 21. На Apple M5 Max с GPU через Metal получили 27 токенов в секунду. Качество пострадало: перплексия на 60% выше, чем у MXFP4, хотя тесты проводились на разном железе. В авторском тесте по коду — 20 из 30. Обычные llama.cpp и Ollama такой квант не прочитают. В обсуждении критикуют README за текст от ИИ, а для Nemotron-30B пользователь заметил прирост лишь при обработке промпта. Разбор с командами запуска
Возможности запуска и использования локальных нейросетей для программирования и работы с железом
Похожие посты
- ❤ 29
- 🔥 18
- 👍 14
- 🥱 7
- 🤡 5
- 💩 3
- ❤ 7
- 🤨 1
- 🤔 3