Физики из Университета Джорджа Вашингтона создали математический инструмент, который предсказывает момент, когда ИИ-модель переключится с нормальных ответов на опасные. Формула работает даже для офлайн-чат-ботов на телефонах, где нет облачных фильтров безопасности. Точность прогноза — 18 из 19 случаев.
Проблема, которую все игнорировали
Миллиарды людей носят в карманах устройства, способные запускать небольшие языковые модели. Эти чат-боты практически не имеют внешнего контроля безопасности. Они не фильтруют советы, которые могут подтолкнуть к самоповреждению, финансовым потерям или экстремистским идеям. Особенно остро проблема стоит при работе офлайн, когда устройство не связано с облаком.
Именно эта категория пользователей наиболее уязвима. Врачи, которые не могут отправлять данные пациентов на удаленные серверы. Юристы, защищающие конфиденциальность. Военные без сигнала связи. Для них нет облачного фильтра безопасности, нет мониторинга и нет возможности исправить модель, если что-то пошло не так.
