На пути к пониманию данных в контексте пространственного обоснования моделей мультимодальных крупных языков

Компьютерные науки > Компютерное видение и распознавание шаблонов [представлено 13 октября 2026 года] Название: На пути к пониманию пространственного рассудка в мультимодальных больших языковых моделях Вид HTML (экспериментальный) резюме: Мультимодифицированные модели большого языка (МLM) широко применяются в воображаемых агентах и роботах для выполнения задач зрения. Вместе с тем ММЛС страдают от ограничений в пространственном рассуждении и восприятии. Технологии после профессиональной подготовки продемонстрировали перспективные перспективы совершенствования этих возможностей; однако обследования таких подходов, основанные на данных, проводятся в ограниченных масштабах. В ходе этого обследования мы рассматриваем подходы к уточнению заранее подготовленных ММЛМ для выполнения задач пространственного обоснования, начиная от контролируемого и кончая усиленным обучением с уделением особого внимания используемым наборам данных. Мы изучаем темы построения наборов данных, формы и аннотации данных, а также оценку полученных моделей. Исходя из этих тем, мы подразделяем исследования на три группы: проектирование наборов данных, создание и оценка наборов данных. Мы находим четыре основных метода построения фиксированных пространственных аннотаций: правила и шаблоны, стимулятор ЛМ, процедурное поколение и человек в ручке. Мы также отмечаем значительные различия в подходах к оценке, включая различные методы оценки, показатели терпимости и контрольные типы. И наконец, мы выявляем…