Qwen3.8-27B на своей карте против 304B по API

#Закончил #Qwen #DeepSeek #Flash #Читать

Закончил тесты и подготовил результаты этих тестов по самой новой, последней, крутой (и способной влезть на карту, что можно купить домой - RTX5090, за такие деньги конечно покупать - безумно, но в магазинах есть, а значит “можно купить домо”) модели Qwen 3.8-27B! Если коротко, то Qwen3.8-27B на своей карте заработал 0.789 из 1.0 и это прям круто! Он же через API — 0.785, DeepSeek V4 Flash 0731 через API — 0.731 (а DeepSeek прям ооочень советуют!). Для моего бенча - модель на 304 миллиарда параметров отстала от модели на 28 миллиардов, которая влезает в одну карту. Читать далее

Суббота, вечер. Хотел за час выяснить, какую из двух свежих моделей ставить себе - Qwen3.8-27B или DeepSeek V4 Flash 0731. Вышло семь часов и три новых строки в мой бенчмарк :)

Первые две строки - одна и та же модель. Разница в балле 0.004. Разница в задержке - почти пятикратная.

Бенч свой: 50 задач, собранных из моей же двухмесячной работы. Не чистые задачи по коду - это лишь 45% того, что я реально пишу, это стратегические документы и архитектурные решения. Судей трое, сид заморожен, каждый прогон пишет манифест.

Первый прогон сначала соврал, и виноват был я

Похожие статьи

Спорт-Экспресс
Спорт-Экспресс

Диетолог рассказала, кому противопоказано спортивное питание

Перед употреблением спортивного питания нужна консультация врача.

Спорт-Экспресс
Поиск
Поиск

Тысяча ИИ-агентов начала соглашаться друг с другом, хотя никто не просил их это делать

Представьте виртуальную комнату, в которой находится тысяча ИИ-агентов. Каждому предлагают выбрать один из двух совершенно бессмысленных вариантов. Правильного ответа нет. За совпадение мнений никто н...

Поиск
Хабр
Хабр

Domain Driven Design и модульный монолит в Python

Статья об архитектурных подходах, позволяющих упростить back-end разработку больших и сложных систем на языке Python путем применения принципов Domain Driven Design и архитектуры модульного монолита, ...

Хабр
Российская газета
Российская газета

Нейросеть впервые уволила человека

В США после того, как нейросети доверили руководить магазином в Сан-Франциско, она уволила одного из подчиненных.

Российская газета
Astronomers Discover the Existence of a Black Hole Star Wired
Wired

Astronomers Discover the Existence of a Black Hole Star

An object observed by the James Webb Space Telescope lends credence to a strange explanation for the mysterious red spots in the early universe.

Wired
Samsung Galaxy Z Fold8 and Galaxy Z Fold8 Ultra Review: The Right Shape Wired
Wired

Samsung Galaxy Z Fold8 and Galaxy Z Fold8 Ultra Review: The Right Shape

Nearly a decade after its debut, Samsung’s Galaxy Fold finally comes into its own.

Wired