Реклама

Кронекером по Фишеру: как при сжатии LLM учесть кривизну второго порядка и не умереть

#Кронекером #Фишеру #Привет #Хабр #Вика
Кронекером по Фишеру: как при сжатии LLM учесть кривизну второго порядка и не умереть

Привет Хабр! На связи Вика Чекалина из команды «Мультимодальный ИИ» AIRI. Сегодня мы поговорим о том, как выкручиваться, когда вычислительных ресурсов мало и для деплоя необходимо сжать LLM, но так, чтобы потеря в качестве была минимальной. Логично, что нужно использовать дополнительную информацию…