Модели табулярного фонда являются эффективными

arXiv:2610.13253v1 Annualce Type: New Humber: In-context-Tabular Foundation Models (TFMS) уникально подходят к сценариям с ограниченными ресурсами или ограничениями на конфиденциальность, поскольку они решают новые задачи без дополнительной подготовки. Однако их архитектура состоит из нескольких блоков трансформаторов, что приводит к высоким значениям в расчетах и памяти. В то же время традиционные альтернативы, такие как Gradient-Boosted Development Drees (GBDTs), остаются весьма конкурентоспособными и эффективно работают на процессорах, что предполагает, что табличные задачи не могут по своей сути требовать глубоких архитектур. Этот контраст поднимает фундаментальный вопрос: можно ли упростить ЦГМ путем устранения излишних архитектурных функций без ущерба для результатов работы? Чтобы ответить на этот вопрос, мы введем закрытый переводчик без лейбла, который заменит прилежащее окно размером до 96% блоков, оставив остальное неизменным. Оценивая восемь пограничных ЦГМ на 171 классификационных наборах данных, мы обнаруживаем, что табличные трансформаторы значительно превышают друг друга.