Локальный ассистент для зумов, часть 5: зачем локальному ассистенту облако и что уходит наружу

#Локальный #Пятая #Облако #Opus #Читать

Пятая часть про локальный ассистент для созвонов. В первой части я написал: ничего не уходит в облако. Облако появилось на второй день проекта, потому что большая модель одним чтением стенограммы находила то, чего локальная не видела. Что уходит с машины при каждом из пяти тумблеров и в каком объёме, почему остался Opus, как каждая третья ревизия не доезжала из-за усилия, а не размера промпта, и где сегодня проходит граница между локальным и облачным. Читать далее

В первой части я написал: всё локально, ничего не уходит. Для самой встречи так и есть. После неё — только пока выключены пять тумблеров. У меня включены четыре. Эта часть про них: откуда взялись, что уходит, что дают по логам и во что обошлись.

Второй день

16 июля — первый коммит: BlackHole, локальное распознавание, локальная модель. 17 июля — второй: headless Claude после каждой встречи. Чистая идея прожила день.

В тот день я прогнал стенограмму утренней встречи через большую модель руками. Она нашла упущенную тему письма, пять витрин и дедлайн до отпуска коллеги. Локальная (тогда Gemma 26B, сейчас 35B MoE через Ollama) ничего из этого не видела: она пишет минутки по ходу, кусками, а большая читает стенограмму один раз целиком.