Учимся, что перебирать: отбор токенов Top-K на двухуровневом уровне для самопроигрывания в крупных языковых моделях
arXiv: 2610,07247v1 Annualce Type: New Express: Major Language Models продемонстрировали мощную мотивационную способность, но высокие затраты на их вывод делают дистилляцию знаний важным подходом к передаче таких возможностей в компактные модели при ограниченных ресурсами сценариях.…