← К ленте

Особенности расхода токенов нейросетями при обработке различных языков и налог токенизатора

concertzaal@concertzaalКультура и шоубиз27 октября 2026, 15:16
  • Фото поста канала concertzaal

Нейронки берут налог за русский язык — в отдельных тестах он требует на 40% больше токенов, чем английский. Это называют 'налогом токенизатора': среди 200 языков разница достигает 17 (!) раз — особенно не повезло бирманскому, тибетскому и кхмерскому. privet gpt, ya teper iz Vasingtona 😬 @concertzaal

  • 78

Похожие посты

Кухня ~ Техносплетни@silicon_kitchenТехнологии и IT27 октября 2026
Особенности расхода токенов нейросетями при обработке различных языков и налог токенизатора

Нейронки берут дополнительную плату за русский язык — в некоторых тестах он расходует на 40% больше токенов, чем английский. Журналисты даже дали название такому феномену — «налог токенизатора». И дело не только в русском: при сравнении 200 языков разница в расходе токенов у отдельных моделей достигает 17 раз. Всё из-за того, как ИИ разбивает текст на токены — небольшие фрагменты, за обработку которых часто приходится платить. Чем их больше, тем дороже запросы через API. А ещё быстрее заканчи...

  • 32
  • 12
  • 5
  • 4
  • 4
SYNTX FAMILY@syntxfamilyТехнологии и IT27 октября 2026
Особенности расхода токенов нейросетями при обработке различных языков и налог токенизатора

🎞️ Сравнил Kling 4.0 и Wan 3.0, чтобы найти лучшую модель для русской речи ⚡️ Новый выпуск на канале SYNTX AI — Seedance 2.5 даёт лучшую картинку, но с озвучкой на русском у него постоянные проблемы. Провожу сравнение, чтобы найти лучшую альтернативу. Что в выпуске? 🏮Липсинк на русском: по тексту, по фото и в мультике 🏮Краш-тест с дракой и репликой на русском 🏮Почему Wan 3.0 сжимает вашу реплику 🏮Редактирование видео без потери лица ❤️ СМОТРЕТЬ ВЫПУСК 🔥 Внутри — промокод на скидку и ко...

  • 54
  • 35
  • 16
  • 7
  • 3
  • 2
Антифишки- НОВОСТИ ОНЛАЙН@antifishechkiНовости и СМИ27 октября 2026
Особенности расхода токенов нейросетями при обработке различных языков и налог токенизатора
  • Фото поста канала Антифишки- НОВОСТИ ОНЛАЙН

Нейронки берут налог за русский язык — в отдельных тестах он требует на 40% больше токенов, чем английский. Это называют 'налогом токенизатора': среди 200 языков разница достигает 17 раз — особенно не повезло бирманскому, тибетскому и кхмерскому.

  • 20
  • 13
  • 7
  • 5
Днепр агрегатор новостей@dnepro_newsАрмия и СВОвчера
Особенности расхода токенов нейросетями при обработке различных языков и налог токенизатора

Стоимость одного и того же запроса к ИИ может обходиться в 17 раз дороже Цифровое неравенство в эпоху ИИ обретает новые черты — при работе с одной и той же языковой моделью расходы пользователей из разных стран могут различаться кратно. Из-за особенностей токенизации обработка текста на некоторых языках требует гораздо больше токенов, чем на английском. Согласно исследованию CLEAR, в зависимости от модели количество токенов, необходимое для передачи одного и того же содержания, может различатьс...