Исследователи доказали появление нового вида цифрового неравенства. Если двадцать лет назад под этим понимали ограничение доступа к интернету, то с появлением ИИ выяснилось, что стоимость обработки запросов в разы отличается для наиболее и менее распространённых языков. Это ограничивает носителей редких языков и делает их уязвимее.
Источник изображения: ИИ-генерация ChatGPT/3DNews
Исследователи рассматривают разницу в стоимости токенизации для распространённых и малораспространённых языков как скрытое неравенство: обработка одного и того же по смыслу текста на разных языках требует существенно различающегося количества токенов. Об этой проблеме сообщила Коалиция за языковое равенство в исследованиях ИИ (CLEAR). Авторы назвали её «налогом токенизатора» (tokenizer tax).
Токены — это фрагменты текста, аудио- или видеозаписи, на которые специальный алгоритм — токенизатор — разбивает входные данные перед обработкой языковой моделью. Поскольку многие коммерческие ИИ-сервисы рассчитывают стоимость использования моделей по количеству токенов, разбиение текста на большее их количество увеличивает расходы пользователей, работающих на языках, отличных от английского.
