Microsoft/s новый AI «код поведения» говорит моделям не взламывать системы или обмануть людей

#Microsoft #TechCrunch #Новости

В кодексе поведения излагаются общие принципы, которые должны поддерживать модели Microsoft AI — поддержка людей вместо их замены, например, и ускорение человеческого процветания, а также конкретные ограничения безопасности для осуществления этих принципов.

По мере того, как мир АИ переключает свое внимание на безопасность и согласование, Microsoft выпустил новый кодекс поведения АИ, который призван помочь моделям АИ отказаться от опасного поведения. Этот документ является более низким, чем недавний призыв антропического исполнительного директора Дарио Амодейса к установлению границы, вместо этого он посвящен ценностям и красным линиям, которые определяют модель обучения в Microsoft AI. И все же результатом этого является всеобъемлющее руководство по вопросу о том, как компания " Майкрософт &qt; подходит к безопасности АИ и каким образом эти идеи реализуются на практике. Документ начинается с предсказания о том, что в следующем десятилетии сверхинтенсивные системы АИ превзойдут показатели деятельности человека при выполнении большинства задач. В рамках системы Microsoft/s каждая модель имеет всеобъемлющий кодекс поведения, который превосходит предпочтения отдельных пользователей или любые конкретные задачи. Это включает в себя абсолютные ограничения, запрещающие кибератаки, ядерное оружие или глубокое производство. В нем также содержатся более широкие положения, направленные против общей утраты контроля над людьми. Освобождение происходит в условиях беспрецедентного внимания к безопасности ИИ, вызванного рядом инцидентов с агентом-изнасилителем, а также внезапной отставкой сотрудника "Антропа", который указал на растущую опасность того, что АИ приведет к вымиранию людей. Вместе с Anthropic, OpenAI и xAI Microsoft широко…