" Пасинг не устраняет риска гибели ИИ. Здесь что-то может быть Дэвид Крюгер

С уходом Джейкоба Коксона из Антропика мы достигли точки риска. Миллионы людей наконец-то понимают, что известно экспертам на протяжении многих лет: компании МА играют всю нашу жизнь в азартные игры, и шансы плохи. В ответ на это антропический исполнительный директор Дарио Амодей внес предложение о прохождении границы, одобренное Сэмом Альтманом и Элоном Маском. Мы можем вздохнуть с облегчением? Мы собираемся отойти от края вымирания? Amodei предполагает замедление на один-два года, что приведет к заметному прогрессу в области технических мер безопасности. Но это не то, что сейчас нужно человечеству. Нам нужен план, в котором АИ уверенно не убьет нас. Суровая реальность такова: мы не знаем, как работают эти системы ИИ. Мы не знаем, как предотвратить их неправильное поведение. Мы не знаем, как держать контроль над собой, когда они умнее нас. Мы не знаем, как убедиться, что они не играют хорошо или глупо, чтобы обмануть наши тесты на безопасность. Мы не можем рассчитывать на решение этих проблем с помощью еще одного или двухлетнего исследования. Я знаю это, потому что я исследую такие проблемы уже более десяти лет, в том числе как профессор МА в Кембриджском университете и Монреальском университете. Если мы хотим снизить риски от ИИ до приемлемого уровня, то нам действительно нужен немедленный бессрочный международный мораторий на развитие АИ. Это действительно возможно? Это законный вопрос, а геополитика - это суть: как такие страны, как США и Китай, могут проверять…