Стоимость одного и того же запроса к ИИ может обходиться в 17 раз дороже Цифровое неравенство в эпоху ИИ обретает новые черты — при работе с одной и той же языковой моделью расходы пользователей из разных стран могут различаться кратно. Из-за особенностей токенизации обработка текста на некоторых языках требует гораздо больше токенов, чем на английском. Согласно исследованию CLEAR, в зависимости от модели количество токенов, необходимое для передачи одного и того же содержания, может различаться до 17 раз. Это увеличивает расходы на использование ИИ и сокращает объем текста, который помещается в контекстное окно.
Особенности расхода токенов нейросетями при обработке различных языков и налог токенизатора
- 78
- 32
- 11
- 5
- 4
- 4
- 54
- 35
- 16
- 7
- 3
- 2
- 20
- 13
- 7
- 5