Нейронки берут дополнительную плату за русский язык — в некоторых тестах он расходует на 40% больше токенов, чем английский. Журналисты даже дали название такому феномену — «налог токенизатора». И дело не только в русском: при сравнении 200 языков разница в расходе токенов у отдельных моделей достигает 17 раз. Всё из-за того, как ИИ разбивает текст на токены — небольшие фрагменты, за обработку которых часто приходится платить. Чем их больше, тем дороже запросы через API. А ещё быстрее заканчивается контекст и увеличивается время ответа. Проблема в том, что многие токенизаторы лучше оптимизированы под английский. И даже количество носителей языка не всегда спасает: многое зависит от письменности и того, насколько хорошо она представлена в обучающих данных. Хэллоу чатжипити, ай эм фром грит бритен 🙄
- 32
- 12
- 5
- 4
- 4