Обучение в нескольких случаях in-context

arXiv: 260606458v2 Annuales Type: заменить резюме: обучение в нескольких случаях (MIL) решает проблемы, когда надзор имеется на уровне пакетов примеров и успешно применяется в различных областях - от вычислительной патологоанатомии до спутниковых изображений. Тем не менее существующие алгоритмы борются в режиме низкой маркировки, который характеризует многие реальные виды применения. Гибкие и жесткие модели не могут адаптироваться к стоящей перед ними задаче. Мы показываем, что предварительная подготовка ученика в контексте с архитектурой типа Персейвер на синтетических данных дает модель, которая может решить новые задачи из горстки маркированных пакетов. На момент вывода классификация происходит в одном переднем проходе и не требует обновления градиента. Мы предлагаем и расследуем различные генераторы синтетических данных для данных, структурированных мешками, и обнаруживаем, что они отражают дополнительные погрешности. Модель, подготовленная на смеси этих генераторов, унаследует их сильные стороны в задании и достигает наилучших средних значений pe