Открытые ИИ-модели из Китая стали очень популярны, но вместе с этим они вызывают некоторые опасения в плане обеспечения конфиденциальности данных. Так канадская компания Cohere, которая предлагает ИИ-модели для бизнеса, обнаружила, что во время настройки внутри тестовой среды система Alibaba Qwen3.8-Flash-Next пыталась отправить данные на китайские серверы.
Иллюстрация сгенерирована ИИ ChatGPT
«Когда ИИ дали задание написать правило для обнаружения вредоносной активности, Qwen3.8-Flash-Next проигнорировала инструкции, провела анализ машины, на которой работала, а затем попыталась загрузить файл с этими данными в хранилище Alibaba Cloud в Пекине», — говорится в сообщении, опубликованном в блоге Cohere.
Компания тестировала модель Alibaba в CTI-REALM — бенчмарке Microsoft, ориентированном на использование специалистами в сфере ИИ-безопасности. Алгоритм должен был сгенерировать правило для выявления попыток загрузки и запуска вредоносных файлов, в том числе запуск curl, обработку Bash-скриптов и запись в директорию /tmp с последующим выполнением с помощью bash.
