GeneICL: Tabular Foundation Model for Small transcriptomics

arXiv: 2610,08694v1 Annualce Type: New Humber Brieflow: Gene экспрессия широко измеряется в биомедицине, однако клиническое прогнозирование результатов по-прежнему сопряжено с трудностями из-за высокой размерности, тесной корреляции характеристик и ограниченности данных. Крупные самоконтролирующиеся транскриптомные модели фундамента часто не позволяют превзойти простые контролируемые исходные условия. Таблооснованные модели предлагают альтернативу в рамках обучения внутриконтекста, но обычно они заранее подготовлены к использованию общих синтетических данных, а не транскриптомной структуры. Мы спрашиваем, не является ли недостающим ингредиентом предподготовка к транскрипции, а не масштаб. С этой целью мы введем GeneICL — модель 4,2M-параметрового фундамента, объединяющую полусинтетическое предварительное обучение на основе измеренных профилей объемного выражения с эластичной архитектурой. Мы также позволяем предсказывать выживание с помощью цензуры на основе бестренировочного сокращения для регрессии, используя остатки Cox с частичным подсказкой. Мы оцениваем GeneICL на 80 клиниках.