125 токенов в секунду на 16 ГБ VRAM. Но одной скорости мало На RTX 4070 Ti SUPER с 16 ГБ видеопамяти большая Dense-модель выдаёт 10-20 токенов в секунду. Для кодинг-агента этого маловато. А вот 125 токенов в секунду на той же видеокарте — уже другое дело. Контекстное окно при этом всего 65 тысяч токенов. Codex и Claude Code при минимальном обращении съедают 10-14 тысяч на системный промпт и прочую обвязку. Плюс модель сильно квантована, поэтому ошибается чаще, чем менее сжатые версии. Получить высокую скорость оказалось недостаточно. Нужно ещё заставить агента справляться с большими задачами, не терять контекст и проверять собственный код. Для этого пришлось менять не только настройки модели, но и сам процесс разработки.
- 16
- 8
- 7
- 5
- 3
- 2
- 2
- 2
- 2
- 1
- 1