GeLaCO: Эволюционный подход к секвестрации слоя

arXiv: 2507,10059v2 Annuales Type: заменить резюме: Большие языковые модели достигли замечательных результатов в выполнении большого числа задач, но сталкиваются с критическими препятствиями при развертывании и использовании из-за значительных потребностей в расчетах. Важным средством смягчения этих проблем являются типовые методы сжатия, направленные на сокращение размера моделей при сохранении их потенциала. Для перспективных подходов в этом направлении, таких как структурированное обрезка, обычно требуется дорогостоящая ручная экспозиция гиперпараметров или использование местных эвристических методов, которые могут быть сопряжены с риском игнорирования более эффективных решений. В этой работе мы введем GeLaCo, эволюционный подход к компрессии LLM через разрушение слоя. Наш подход поддерживает эффективное исследование пространства для компрессионного раствора с помощью популяционных поисков и новой формулы коллапсового слоя, основанной на параметизированном весе, с функциональной функцией фитнес-функции, основывающейся на сходстве по отношению к остаточным обновлениям и языковому моделированию различий KL. GeLaCo также поддерживает оба пения