Реклама

От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 0/10

#Часть #Ставим #Учитель #DeepPavlov #Четыре

Ставим задачу: компактная русскоязычная модель эмбеддингов для CPU, способная решать семантический поиск, дедубликацию и кластеризацию. Учитель — 180-миллионный DeepPavlov, студент — 29-миллионный turbo с доработанной головой. Четыре цели: разобраться, что даёт attention pooling, дистиллировать семантику учителя, победить анизотропию и слепоту к отрицаниям, получить рабочий инструмент. В этой части — постановка целей, метрики успеха и план серии. Читать далее

Часть 0. Введение

Важное предупреждение:

Весь код в последующих частях по моей методологии написан нейросетью DeepSeek, сам бы не осилил (я не программист). За мной лишь отладка, исправление неточностей и ошибок.

Тексты этих статей собраны из "заметок на полях" во время реализации, потому возможны некоторые шероховатости в аргументации и стилистике.