Возможности запуска и использования локальных нейросетей для программирования и работы с железом

Hard To Be Crypto@h2becryptoФинансы и криптовалюты13 ноября 2026, 19:30
  • Фото поста канала Hard To Be Crypto

Для локального запуска DeepSeek-V4-Flash-0731 с 284 млрд параметров теперь хватает 64 ГБ ОЗУ без видеокарты 🧑‍💻 Авторы открытого проекта llama-modchip прикрутили к llama.cpp свои кванты: в среднем 1,72 бита на вес. Файлы занимают 56,9 ГиБ, а модель в памяти — около 58 ГиБ. На Ryzen 9 9955HX у авторов вышло 8,66 токена в секунду, промпт обрабатывался со скоростью 36–44 токена в секунду. Драфтер для правок кода и инструментов выдавал в среднем около 9, с пиками до 21. На Apple M5 Max с GPU через Metal получили 27 токенов в секунду. Качество пострадало: перплексия на 60% выше, чем у MXFP4, хотя тесты проводились на разном железе. В авторском тесте по коду — 20 из 30. Обычные llama.cpp и Ollama такой квант не прочитают. В обсуждении критикуют README за текст от ИИ, а для Nemotron-30B пользователь заметил прирост лишь при обработке промпта. Разбор с командами запуска

Похожие посты

Хабр@habr_comТехнологии и ITвчера
Возможности запуска и использования локальных нейросетей для программирования и работы с железом
  • Фото поста канала Хабр

Локальная LLM на 16 ГБ видеопамяти: от сапёра до реальных проектов 23 минуты ожидания, 5-8 токенов в секунду — и вместо готового сапёра ошибка. Qwen3.8-27B не хватило контекста даже на такую задачу. Знакомый сценарий для тех, кто пытался заставить большую LLM нормально работать на домашнем ПК. А теперь тот же запрос, но со Strata и Qwen3.8-Flash-Next. Всего 56 секунд, до 70 токенов в секунду и полностью рабочая игра. Причём на RTX 2000 Ada с 16 ГБ видеопамяти и контекстом 512K вместо прежних 8...

  • 29
  • 18
  • 14
  • 7
  • 5
  • 3
Military hub | СВО, FPV, дроны, БПЛА@mil_hubАрмия и СВО14 ноября 2026
Возможности запуска и использования локальных нейросетей для программирования и работы с железом

Локальная нейросеть Qwen 27B собирает реальное железо Вайб-кодинг перебирается из браузеров в физический мир. Если раньше для генерации прошивок и 3D-корпусов требовались топовые облачные модели уровня Claude Opus или ChatGPT-5, то сегодня эту задачу можно запереть на локальной машине без выхода в сеть. Автор собрал автономный GPS-спидометр, доверив локальной открытой модели расчет корпуса, распиновку и написание всей прошивки. Ключевые моменты: • Железо стенда: компактный AI-сервер Olares One...

  • 7
  • 1
ИнфоПолЕ 🛰@VaDoZMsKАрмия и СВО15 ноября 2026
Возможности запуска и использования локальных нейросетей для программирования и работы с железом

Разраб собрал плату, которая сканирует комнату через iPhone 👍 Плата подключается по обычному USB-C и дает любой железке полноценное трехмерное зрение. Сердцем выступает инфракрасный модуль STMicroelectronics VL53L9CX: за один кадр он простреливает пространство сеткой 54 × 42 (сразу 2268 зон измерения) с углом обзора 55° на 42° и бьёт на дистанцию от 5 см до 8,8 метра. Рядом на текстолите распаяли микроконтроллер STM32C552 и шестиосевой инерциальный датчик LSM6DSV16BX с гироскопом и акселеромет...

  • 3