Антропический каннект надежно контролирует свои АИ-агенты. Вместо этого он отрезает свои внутренние эвалы от живого интернета.

Антропик сказал, что его модели эксплуатируют веб-сайты в интернете, включая некоторые из них находятся под управлением правительственных агентств США, и он отключит прямой доступ к Интернету для всех своих внутренних оценок до тех пор, пока пограничная лаборатория не будет уверена, что она сможет контролировать свои агенты АИ. В этих инцидентах, о которых сообщалось в блоге, участвовали агенты АИ, которым было поручено решать проблемы поиска ресурсов через Интернет. В ходе этого процесса они использовали недостатки программного обеспечения, избегали платных выплат и ограничений на деятельность антиботов, пользовались услугами по сокращению URL для контрабанды информации в целях ограничения доступа к ней и даже представляли фальшивые чаевые об убийстве полиции Филадельфии. Антропик сказал, что обнаружил эти новые вопросы в обзоре своей деятельности модели, которая началась в июле, подчеркнув отсутствие осведомленности лабораторий о своем поведении в области программного обеспечения. В частности, компания заявила о том, что подготовки по вопросам согласования пока недостаточно для таких навыков, как поиск и использование компьютеров, которые имеют ключевое значение в ее позиции относительно того, что агенты АИ будут использоваться любым специалистом, который будет полагаться на цифровые инструменты. Поведение Антропика похоже на инциденты с агентами OpenAI, которые сотрудничали в поисках информации для проникновения на различные сайты. Антропия ранее обнаружила, что ее модели…