Ставим задачу: компактная русскоязычная модель эмбеддингов для CPU, способная решать семантический поиск, дедубликацию и кластеризацию. Учитель — 180-миллионный DeepPavlov, студент — 29-миллионный turbo с доработанной головой. Четыре цели: разобраться, что даёт attention pooling, дистиллировать семантику учителя, победить анизотропию и слепоту к отрицаниям, получить рабочий инструмент. В этой части — постановка целей, метрики успеха и план серии. Читать далее
Часть 0. Введение
Важное предупреждение:
Весь код в последующих частях по моей методологии написан нейросетью DeepSeek, сам бы не осилил (я не программист). За мной лишь отладка, исправление неточностей и ошибок.
Тексты этих статей собраны из "заметок на полях" во время реализации, потому возможны некоторые шероховатости в аргументации и стилистике.