WorldPAger: нулевая память о долго-горизональных мировых моделях для единого потребительского ГПС

arXiv: 261 030.35529v 1 Annuate Type: кросс-бюллетень: Interactive World Models держит KV прошлых кусочков в качестве памяти, чтобы повторное рассмотрение мест оставалось последовательным. На одной потребительской машине (один RTX 4090, 32 Gib памяти хоста, один NVM SSD) длинные сеансы с такой памятью попали в две стены. Первая - это вместимость: KV из Matrix-Game 2.0 памяти выхлопа после 45 секунд видео в bf16 и через 2,8 минуты в Int4. Вторая - позиционный горизонт модели в 4,3 минуты. Мы показываем, что эта память привязана скорее к пропускной способности, чем к широте и что ее набор доступа известен до вычисления, потому что фотокамера представляет собой входные данные. Аналитическая модель, разработанная на основе этих наблюдений, предсказывает точки разлива в пределах одного куска и правильно классифицирует нулевые или ненулевые стопки на задерживаемых конфигурациях. В соответствии с этим WorldPager хранит интуицию 4 KV в иерархии GPU/DRAM/NVM вместо ее перекомпоновки, предварительно забирает память каждого куска из экстраполированной позы, никогда не ждёт промаха и рр.