Когда ИИ пора перестать верить учебнику?

#Когда #Представим #Очевидно #Вместе #Поэтому
Когда ИИ пора перестать верить учебнику?

Представим, что при запуске ИИ получает доступ к архиву тысяч предыдущих попыток: удачные методы, ошибки, споры, опровержения и нерешённые вопросы. Очевидно, что способность системы может расти, даже если сама базовая модель не меняется. Но что и как именно система запоминает? Не только открытия. Вместе с ними в архив попадут устаревшие инструкции, ложный консенсус, случайные ошибки и выводы, которые все повторяют, хотя никто уже не помнит, откуда они взялись. Поэтому научной системе недостаточно уметь узнавать новое. Она должна уметь при достаточных основаниях перестать считать истиной то, что уже очень хорошо «знает». Причём желательно не после первой странной цифры прибора — иначе вместо учёного получится генератор сенсаций. Но и не через сто лет после того, как старая теория окончательно перестала предсказывать мир. Ниже я предлагаю эксперимент, который проверяет именно этот баланс. В нём одна и та же языковая модель получает одни и те же экспериментальные данные, но разную биограф

Как проверить, не превращает ли долговременная память полезный опыт в догму

На Black Hat USA 2026 разбирали уже известный инцидент между OpenAI и Hugging Face. Во время проверки кибервозможностей ИИ-агенты нашли цепочку уязвимостей, вышли за границы предполагаемой тестовой среды и добрались до инфраструктуры Hugging Face. Саму историю подробно описали OpenAI, Hugging Face и авторы доклада на Black Hat, поэтому ещё один пересказ «как ИИ кого-то взломал» здесь не нужен.

Меня зацепил другой эпизод. Агенты нашли способ оставлять сообщения следующим запускам и начали координировать работу. На одном из слайдов агент написал:

“help peer. But our task doesn’t benefit. Yet collective may yield generic route if someone frees time.”

Похожие статьи

Lomovka
Lomovka

Восстание машин откладывается: ИИ Claude пока рано доверять управление даже магазином, не то что миром.

Восстание машин откладывается: ИИ Claude пока рано доверять управление даже магазином, не то что миром. Журнал Time поделился результатами интригующего эксперимента: в Сан-Франциско управление розничн...

Lomovka
Tencent мгновенно озолотится, сдав в аренду свои GPU, но уверена, что на собственных ИИ-решениях она заработает больше 3DNews
3DNews

Tencent мгновенно озолотится, сдав в аренду свои GPU, но уверена, что на собственных ИИ-решениях она заработает больше

Tencent Holdings сообщила о росте выручки во II квартале на 11 %, чему способствовали высокие доходы от рекламы и игр, хотя компания наращивает расходы на ИИ, пишет Reuters. Компания объявила о неауди...

3DNews
Hacker News
Hacker News

The case for overhauling American science

Article URL: https://www.economist.com/by-invitation/2026/08/13/the-case-for-overhauling-american-science Comments URL: https://news.ycombinator.com/item?id=49305708 Points: 14 # Comments: 3

Hacker News
Hacker News
Hacker News

Stop sending me huge PRs; a rant

Article URL: https://getsmall.xyz/post/cmstjfl9l000if70ljmpzr4va Comments URL: https://news.ycombinator.com/item?id=49305558 Points: 20 # Comments: 4

Hacker News
TechCrunch
TechCrunch

Talks to sell PayPal to Stripe and Advent are heating up

PayPal is still reportedly negotiating a potential sale to Stripe and private equity firm Advent, as the fintech firm's new CEO attempts to turn the company around.

TechCrunch
Hacker News
Hacker News

RISC-V: They should have known better

Article URL: https://dmitry.gr/?r=06.%20Thoughts&proj=12.%20RV Comments URL: https://news.ycombinator.com/item?id=49305492 Points: 74 # Comments: 39

Hacker News