← К ленте

Локальное использование крупных языковых моделей на домашних компьютерах

Не баг, а фича@bugnotfeatureТехнологии и IT16 октября 2026, 06:35
  • Фото поста канала Не баг, а фича

Запускаем модель на 1️⃣2️⃣5️⃣ МЛРД параметров на игровой видеокарте — со скиллом Strata для локального запуска Qwen3.8-Flash-Next достаточно всего 12 ГБ (!) памяти. Так обычный комп, но с RTX 5070, по замерам разрабов будет выдавать: 🔅 94 токена в секунду с квантизацией Q2_0; 🔅 53 токена в секунду с IQ3_S. Нюанс: Q2 сжимает веса и скорость стоит оценивать вместе с качеством ответов на своих задачах. Есть поддержка Windows и Linux, а также локальный API, совместимый с OpenAI и Anthropic, для подключения приложений и агентов. Забираем тулзу тут. 🙂 Не баг, а фича

  • 26
  • 11
  • 7
  • 7
  • 2
  • 1

Похожие посты

Код Дурова@d_codeТехнологии и IT14 октября 2026
Локальное использование крупных языковых моделей на домашних компьютерах

💅 Чтоб без дела не стояла Энтузиаст выпустил приложение, которое запускает LLM на видеокарте взломанной PlayStation 5. Qwen 3.8 на 27 млрд параметров выдаёт около 20 токенов в секунду, а более лёгкие модели работают ещё быстрее. Чат открывается в браузере на любом устройстве в домашней сети, а API можно подключить даже в OpenCode или совместимую IDE. Как это работает и что нужно для запуска: ➡️ https://kod.ru/ps5lm-nejroseti-na-ps5

  • 30
  • 21
Machinelearning@ai_machinelearning_big_dataТехнологии и IT12 октября 2026
Локальное использование крупных языковых моделей на домашних компьютерах
  • Фото поста канала Machinelearning

🚀 Qwen представила QwenGyre: обучение ИИ-агентов стало до 1,85 раза быстрее Современные агенты могут выполнять задачи часами, генерируя сотни тысяч токенов. При обучении таких систем GPU часто простаивают, а повторяющиеся траектории расходуют вычислительные ресурсы. QwenGyre решает обе проблемы: • Elastic Scheduler динамически распределяет GPU между генерацией траекторий и обучением, не прерывая активные задачи. • Trajectory Processor объединяет разветвлённые траектории, удаляет дубликаты и...

  • 117
  • 63
  • 39
  • 36
  • 19
  • 17
Провод@provodТехнологии и ITвчера
Локальное использование крупных языковых моделей на домашних компьютерах
  • Фото поста канала Провод

🔥 Запускаем огромную модель на 125 МИЛЛИАРДОВ параметров на обычной игровой видеокарте — вышел скилл Strata, который позволяет локально запускать гигантскую Qwen3.8-Flash-Next. • Для запуска понадобится обычная видеокарта с 12 ГБ памяти; • На RTX 5070 нейронка выдаёт 94 токена в секунду; • Работает на Windows и Linux, плюс есть локальный API, совместимый с OpenAI и Anthropic — можно подключать приложения и агентов. Забираем бомбу — Strata ⚡️ Провод

  • 59
  • 11
  • 7
  • 6
  • 6
Нейродвиж@neuraldvigТехнологии и IT14 октября 2026
Локальное использование крупных языковых моделей на домашних компьютерах
  • Фото поста канала Нейродвиж

PlayStation 5 превратили в домашний ИИ-сервер — энтузиасты собрали опенсорсный PS5LM Plus, который запускает нейросети прямо на видеочипе консоли 😂 По замерам автора, сжатая Qwen 3.8 на 27 млрд параметров выдаёт около 20 токенов в секунду, а небольшая Llama 3.2 3B — до 124! Модели можно скачивать с Hugging Face через меню на телевизоре, управляя геймпадом, а общаться с ними — в браузере телефона или компьютера в той же сети. У «Плойки» теперь больше смысла 😁

  • 65
  • 49
  • 8
  • 7
  • 7
  • 5
Хабр@habr_comТехнологии и IT15 октября 2026
Локальное использование крупных языковых моделей на домашних компьютерах

Разработчик abhi245y запустил на взломанной PlayStation 5 языковую модель Qwen с 27 млрд параметров, которая выдаёт 20,7 токена в секунду. Раньше на CPU та же модель генерировала около одного токена в минуту и постоянно подгружала веса с накопителя. В новом приложении PS5LM Plus вычисления перешли на графический процессор через Vulkan. Чтобы Qwen поместилась в память, разработчик использовал 2-битное квантование, ужав модель до 6,8 ГБ при контекстном окне в 64 тыс. токенов. За основу взят проек...

  • 35
  • 27
  • 13
  • 8
  • 3
  • 2
LOLZTEAM@lolz_legalТехнологии и IT12 октября 2026
Локальное использование крупных языковых моделей на домашних компьютерах

🤯 Запускаем 320-миллиардную нейронку прямо на домашнем ПК GLM-5.3-Flash адаптировали для локального запуска через движок Strata – недавно на нём уже запускали Qwen3.8-Flash-Next, а теперь добрались до модели заметно крупнее: ➖ Поддерживаются текст, изображения, разные режимы мышления, а установка сводится практически к одной команде. ➖ Модель занимает от 95 ГБ на диске и рассчитана на запуск на обычных игровых видеокартах. ➖ Есть совместимость с OpenAI- и Anthropic-совместимыми API. Забираем...

  • 18
  • 10
  • 4
Доктор GPT@doktorgptТехнологии и IT13 октября 2026
Локальное использование крупных языковых моделей на домашних компьютерах
  • Фото поста канала Доктор GPT

Облачная или локальная LLM для DevOps: считаем на цифрах Универсального ответа нет, но есть конкретные сценарии. По расчётам из новой статьи, 5 млн токенов в месяц в облаке - это ~$2 000. Своя модель на том же объёме выходит примерно в 4 раза дешевле, но требует вложений в GPU. В статье разобрали: 🔹порог входа и экономику при разной нагрузке; 🔹latency и зависимость от SLA провайдера; 🔹безопасность и комплаенс; 🔹гибридный подход (локальный gatekeeper + облачный ризонинг). 👉 Читать статью ...

  • 7
  • 6