[Перевод] Коллапс модели при обучении на сгенерированных данных

Вступление

Stable Diffusion произвела революцию в создании изображений по текстовому описанию. GPT-2, GPT-3(.5) и GPT-4 отлично справляются с разнообразными языковыми задачами. ChatGPT познакомил широкую публику с этими языковыми моделями. Сейчас уже ясно, что большие языковые модели (large language models, LLM) никуда не денутся и существенно изменят экосистему текстов и изображений в интернете. Мы изучили, что может произойти с GPT‑{n}, когда большинство текстов в интернете окажутся сгенерированы LLM. Выяснилось, обучение на сгенерированном контенте приводит к необратимым дефектам в моделях: у них исчезают хвосты исходного распределения контента.

Мы назвали этот эффект «коллапс модели», он может возникать в LLM, вариационных автоэнкодерах (variational autoencoders, VAE) и в моделях гауссовых смесей (Gaussian mixture models, GMM). Явление универсально для всех обучаемых генеративных моделей. К нему следует отнестись серьёзно, если мы и дальше хотим обучать модели на больших данных из интернета. Мы убеждены, что информация о подлинных взаимодействиях людей с системами будет становиться всё ценнее по мере того, как в данных из интернета растёт доля контента, сгенерированного LLM.

Проблема обучения моделей