В 30 раз меньше связей: ученые создали «тетраэдрическую» нейросеть, которая точнее прогнозирует погоду

Ученые предложили принципиально новую архитектуру скрытого слоя для резервуарных нейросетей, которые помогают прогнозировать поведение сложных систем, например, погодных явлений и нервных клеток. Вместо случайных связей авторы построили резервуар из плотно связанных групп искусственных нейронов и изолированных узлов. Такой подход в разы уменьшил ошибку прогноза, в десятки раз сократил число необходимых соединений и сделал алгоритм менее чувствительным к случайному выбору структуры нейросети. Это открывает путь к созданию компактных и энергоэффективных резервуарных компьютеров для медицины, климатологии и промышленности. Результаты исследования, поддержанного грантом Российского научного фонда (РНФ), опубликованы в журнале Chaos.

Многие природные и инженерные системы — от погоды и активности мозга до управляющих контуров в электронике — демонстрируют сложное, нелинейное поведение, прогнозировать которое традиционными методами крайне трудно. Для таких задач все чаще применяют резервуарные вычисления — класс нейросетей, где обучается только выходной слой, а внутренняя структура (резервуар) остается фиксированной. Это делает алгоритм быстрым и нетребовательным к вычислительным ресурсам.

Однако в скрытом (базовом) слое классических резервуаров, на котором строятся все операции, нейроны связаны между собой случайными связями, то есть хаотично. Из-за этого качество предсказаний сильно зависит от конкретной реализации связей: даже при одних и тех же настройках одна случайная сеть…

Ранее…