Кто из рецензий выжил после Спарсе Компрессии?
arXiv:2607.17425v3 Annuales Type: заменить резюме: Sparse autoencoders (SAEs) сжимает модели в редкие коды, но равная погрешность восстановления и спаржи могут сохранить различные линейно декодируемые сигналы. Мы официально оформим эту двусмысленность как матрично оцениваемое искажение между оптимальными операторами хребтовых предукций и поездами, сохраняющими декодеры SAE, путем сочетания этого искажения с потерей реконструкции. В расслаблении ранга, изотропная задача перед сатюратами в каждом режиме стоимость пропусков без изменения заказа ППТС, тогда как структурированный предыдущая функция может изменить те режимы, которые сохраняются. Контролируемый небольшой эксперимент показывает, что заявленный предварительный защитный комбинат защищается от подпространства задачи. В небольшом блоке 8 GPT-2 DPSAE с помощью трех парных пробегов удалось сократить декодерное искажение на 10,6-11,4% при одновременном согласовании данных о реконструкции NMSE. На тех же контрольно-пропускных пунктах проходит средний естественный текст-испытание на необеспеченность, но одна пара совпадающих Pythia не показывает улучшения в пробниках только до f.