Реп2Text: Декодирование полного текста с одного представительства LLM

arXiv: 2511.06571v4 Annuales Type: заменить Резюме: Большие языковые модели представляют текст как скрытые цифровые шаблоны, но та информация, которую эти представления содержат на самом деле, остается тайной. Можем ли мы вернуть оригинал от одного из них? В этом документе мы представляем Rep2Text — метод, предназначенный для ответа на этот вопрос путем воссоздания текста из одного скрытого представления. Мы считаем, что эти представления сохраняют гораздо больше информации, чем мы могли бы ожидать. В коротких текстах из 16 слов Rep2Text может восстановить примерно половину оригинальных слов, сохраняя при этом их общее значение. По мере того как текст становится длиннее, восстановление точной формулировки усложняется, однако основные идеи все еще могут быть восстановлены. Эти выводы дают новый способ понять, какие языковые модели хранят внутри себя и подчеркивают потенциальные риски для частной жизни, поскольку скрытые представления могут раскрыть части оригинального ввода данных.