Все началось вообще не с идеи написать очередной бенчмарк. Мне нужно было собрать локальный пайплайн для длинных подкастов: получить транскрипт, найти в нем интересные куски, выбрать несколько сильных фрагментов и уже из них делать короткие вертикальные ролики. Облачные модели с этой задачей справляются, но постоянно гонять туда длинные расшифровки не очень хотелось. Плюс было интересно понять, насколько далеко сейчас можно уехать на железе. Под рукой была GTX 1080 Ti на 11 ГБ. Карта 2017 года, архитектура Pascal, никаких Tensor Cores. Так из прикладной задачи постепенно вырос небольшой домашний стенд. Я прогнал три модели в одинаковых условиях, отдельно проверил длинный контекст, затем сделал свой набор reasoning‑задач и сравнил режимы с размышлением и без него. Результаты получились не совсем такими, как я ожидал. Читать далее
Все началось вообще не с идеи написать очередной бенчмарк. Мне нужно было собрать локальный пайплайн для длинных подкастов: получить транскрипт, найти в нем интересные куски, выбрать несколько сильных фрагментов и уже из них делать короткие вертикальные ролики.
Облачные модели с этой задачей справляются, но постоянно гонять туда длинные расшифровки не очень хотелось. Плюс было интересно понять, насколько далеко сейчас можно уехать на железе.
Под рукой была GTX 1080 Ti на 11 ГБ. Карта 2017 года, архитектура Pascal, никаких Tensor Cores.
Так из прикладной задачи постепенно вырос небольшой домашний стенд. Я прогнал три модели в одинаковых условиях, отдельно проверил длинный контекст, затем сделал свой набор reasoning‑задач и сравнил режимы с размышлением и без него. Результаты получились не совсем такими, как я ожидал.
Похожие статьи
iXBT.com
iXBT.com
Корпус толщиной всего 4 см, 2304 зоны подсветки и диагональ 85 дюймов. Представлен телевизор TCL C10M True Wallpaper SQD-Mini LED
Компания TCL представила телевизор C10M True Wallpaper SQD-Mini LED, сделав ставку одновременно на ультратонкий дизайн и топовые характеристики изображения. Толщина корпуса составляет всего 3,99 см, п...
‼️«Зверополис 3» официально анонсирован — Disney подтвердила, что мультфильм уже находится на ранней стадии производства
‼️«Зверополис 3» официально анонсирован — Disney подтвердила, что мультфильм уже находится на ранней стадии производства В новой части в Зверополис прибудут птицы. К своим ролям также вернутся Джинниф...
Девять БПЛА сбили над Ленобластью во время утренней атаки
Над территорией Ленинградской области сбиты девять БПЛА, сообщил губернатор Александр Дрозденко. Боевая работа продолжается. Опасность в воздушном пространстве региона была объявлена в 7:18 утра 15 ав...
РИА Новости: ВСУ перебрасывают силы по ж/д из Черниговской области под Сумы
ВСУ пытаются перебросить пехоту и технику по железной дороге из Черниговской области в Шостку и Конотоп Сумской области, сообщили в российских силовых структурах. Читать далее
Железный щит: Российские зенитчики сбили почти 600 вражеских крыльев за ночь
Минувшей ночью российские системы противовоздушной обороны отразили масштабный налёт украинских сил. Дежурные расчёты перехватили и ликвидировали 598 беспилотных аппаратов самолётного типа.
