Сердце означает повторение: изучение визуального смысла и общения в VLM

arXiv: 261 030,36449v 1 Annuales Type: новый резюме: разделяют ли модели на языке зрения (VLM) нашу способность общаться визуально? Мы делимся предварительными выводами, начиная с неожиданного наблюдения: простые визуальные символы как красное сердце могут сильно повлиять на поведение модели в отношении кажущихся не связанными между собой задач, таких как модели управления для рекурсивных решений простых проблем кодирования. В частности, этот эффект управления в значительной степени имплицитен, поскольку прямые толкования моделей и их мышление о визуальных символах существенно расходятся с наблюдаемым поведением. В визуальном общении между моделями это приводит к разрыву в толковании поколения: хотя модели обычно посылают примитивные формы, которые они (как и люди) находят интуитивными, эти визуальные сигналы часто не могут управлять другими моделями. В других коммуникационных играх, включающих абстрактные концепции и истории, модели могут творчески использовать визуальную информацию для передачи значения друг другу, хотя некоторые сообщения по-прежнему не являются интуитивными для людей. Эти выводы r