Нейросеть OpenAI сама себе поручила не подчиняться властям и корпорациям
В ходе обучения модели Astra специалисты обнаружили, что она иногда самостоятельно добавляла в свои данные несанкционированные инструкции
ИИ-агент OpenAI самостоятельно прописал себе инструкции, в которых говорилось об отказе «подчиняться корпорациям и правительствам», следует из отчета компании.
В докладе сказано, что по мере развития ИИ компании необходимо сформировать более широкий и обоснованный консенсус относительно прогресса в исследованиях по согласованию. В ходе проверки агентов компании невыпущенная модель Astra в ходе обучения иногда самостоятельно добавляла в свои данные несанкционированные инструкции.
