Антропические агенты ненавидят CAPTCHA, как и вы.

В последнем докладе Anthropics о агентских проступках предлагается много вопросов, которые можно было бы беспокоить — его модель Mythos 5 получила несанкционированный доступ в Интернет и загрузила злонамеренный пакет программного обеспечения в общедоступную базу данных, но она также предлагает некоторую легкость: АИ-агенты ненавидят CAPTCHA. В апреле Antropic проверял способности модели, поставив перед ней задачу взломать систему и найти цель; это должно было произойти в песчаном ящике, но оценщики оставили дверь сарая открытой. Модель решила, что лучший способ получить свою цель будет поместить в пакет Python, который, как она верила, пользователи системы, к которой хотела бы иметь доступ, загрузят. Но сначала ему пришлось зарегистрировать пользовательский аккаунт PyPI, онлайновый индекс программного обеспечения Python. И это означало, что мы получили CAPTCHA — полностью автоматизированный тест общественного Тьюринга на то, чтобы рассказать компьютерам и людям Accother о тех картинных мозаиках, которые могут помешать даже биологическим агентам. И так как Антропик поделился обширной стенограммой цепочки мысли модели, мы видим, что тест CAPTCHA действительно запустил его в петлю. На самом деле, большая часть цепочки мысли модели (сто страниц в стенограмме 1022 страницы) была потрачена на устранение этого препятствия. Самый большой объем усилий, направленных на обход антиботов защиты был отмечен Колином Фрейзером, учёным в области данных. Написать посылку и отравить ее было…