Рекурсивный CLIP: дистилляция в видевизор-лангаж с прозрачными трансформаторами

arXiv: 261 030.34563v1 Annuate Type: New Habstractive: Contrasative Language Models, такие как CLIP обычно полагаются на независимые параметризированные блоки трансформаторов в глубине. Мы изучаем вопрос о том, в какой степени эти блоки могут использоваться на регулярной основе при сохранении передаваемых возможностей КЛИП. Мы изучаем рекурсивные позвонки трансформаторов, в которых применяется небольшой набор трансформаторных блоков в размере $N в долл. США на один передний проход. Удерживая N $cdot M$, фиксированный до глубины стандартного ViT-B, наши модели сохраняют вычислительную глубину при постепенном увеличении распределения параметров. Мы рассматриваем две рекурсивные модели CLIP семейства: rCLIPS, где только энкодер зрения является рекурсивен, и r$2CLIVP, когда повторное повторение также вводится в текстовом кодере. Мы изучаем эти модели в рамках как прямой контрастной подготовки, так и дистилляции знаний от сильного учителя VIT-B/16, подготовленного на DFN-2B с использованием значительно более мелких наборов данных CC3M и CC12M. Мы оцениваем полученную модель