Запустить крупную MoE-модель на телефоне? Проект smolmaxxing показывает, что можно — всё считает процессор, Android работает без root. На OnePlus Nord CE 2 модель Qwen3-Next-80B-A3B выдаёт 2,6–3,1 токена в секунду и занимает до 5 ГБ памяти. У Qwen3.6–35B-A3B скорость выше — 4,9–5,7 токена в секунду. Верхние значения получают, когда маршрутизатор чуть чаще выбирает экспертов, уже загруженных в память. Для 80B это добавляет 0,5% к перплексии. Патч для llama.cpp держит часть экспертов в памяти, а остальных читает с накопителя по мере работы. Экспертов следующего слоя подгружает заранее. На ТВ-приставке Xiaomi и iPad Air 2013 года с лимитом в 1 ГБ запускают Ling-mini-2.0 на 16B параметров. Экспертов сжали до 2 бит, и длинные ответы иногда зацикливались. Штраф за повторы сократил такие случаи с 12 из 13 до 1 из 13. Файлы моделей открывает обычный llama.cpp, но заявленные скорости показывает только версия с патчем. Подробности — устройство подкачки экспертов.
Китайская нейросеть Qwen4-Max с контекстом в миллион токенов превзошла конкурентов в программировании
Похожие посты
- ❤ 267
- 🔥 64
- 👍 27
- 👾 8
- 🫡 4
- 🔥 228
- 👀 43
- 😁 8
- ❤ 120
- 🔥 27
- 🤡 10
- 🤔 7
- 🥰 3
- 🔥 176
- ❤ 41
- 👍 33
- 😱 6
- 🙈 6
- ❤ 95
- 🔥 41
- 🤩 24
- 🫡 12
- 😱 11
- 😁 10
- 🤡 157
- ❤ 95
- 👍 23
- 👎 10
- 🔥 3
- 😢 3
- 🤣 206
- 👍 96
- 💩 30
- 🔥 11
- 🤡 8
- ❤ 58
- 👍 12
- 👍 499
- 👏 122
- 😁 76
- 🔥 42
- ⚡ 22