Особенности расхода токенов нейросетями при обработке различных языков и налог токенизатораТехнологии и ITвчераПостов: 5Каналов: 5visibility83.3К К
concertzaal@concertzaalКультура и шоубиз27 октября 2026more_horizНейронки берут налог за русский язык — в отдельных тестах он требует на 40% больше токенов, чем английский. Это называют 'налогом токенизатора': среди 200 языков разница достигает 17 (!) раз — особенно не повезло бирманскому, тибетскому и кхмерскому. privet gpt, ya teper iz Vasingtona 😬 @concertzaal👎 78
ККухня ~ Техносплетни@silicon_kitchenТехнологии и IT27 октября 2026more_horizНейронки берут дополнительную плату за русский язык — в некоторых тестах он расходует на 40% больше токенов, чем английский. Журналисты даже дали название такому феномену — «налог токенизатора». И дело не только в русском: при сравнении 200 языков разница в расходе токенов у отдельных моделей достигает 17 раз. Всё из-за того, как ИИ разбивает текст на токены — небольшие фрагменты, за обработку которых часто приходится платить. Чем их больше, тем дороже запросы через API. А ещё быстрее заканчи...ещё😁 32 ❤ 11 🤯 5 🔥 4 😭 4
SYNTX FAMILY@syntxfamilyТехнологии и IT27 октября 2026more_horizplay_arrow0:22🎞️ Сравнил Kling 4.0 и Wan 3.0, чтобы найти лучшую модель для русской речи ⚡️ Новый выпуск на канале SYNTX AI — Seedance 2.5 даёт лучшую картинку, но с озвучкой на русском у него постоянные проблемы. Провожу сравнение, чтобы найти лучшую альтернативу. Что в выпуске? 🏮Липсинк на русском: по тексту, по фото и в мультике 🏮Краш-тест с дракой и репликой на русском 🏮Почему Wan 3.0 сжимает вашу реплику 🏮Редактирование видео без потери лица ❤️ СМОТРЕТЬ ВЫПУСК 🔥 Внутри — промокод на скидку и ко...ещё❤ 54 🔥 35 ❤🔥 16 👍 7 😍 3 🏆 2
Антифишки- НОВОСТИ ОНЛАЙН@antifishechkiНовости и СМИ27 октября 2026more_horizНейронки берут налог за русский язык — в отдельных тестах он требует на 40% больше токенов, чем английский. Это называют 'налогом токенизатора': среди 200 языков разница достигает 17 раз — особенно не повезло бирманскому, тибетскому и кхмерскому.😁 20 🤬 13 ✍ 7 🤮 5
Днепр агрегатор новостей@dnepro_newsАрмия и СВОвчераmore_horizСтоимость одного и того же запроса к ИИ может обходиться в 17 раз дороже Цифровое неравенство в эпоху ИИ обретает новые черты — при работе с одной и той же языковой моделью расходы пользователей из разных стран могут различаться кратно. Из-за особенностей токенизации обработка текста на некоторых языках требует гораздо больше токенов, чем на английском. Согласно исследованию CLEAR, в зависимости от модели количество токенов, необходимое для передачи одного и того же содержания, может различатьс...ещё