Тест локальных MOE моделей

#Тест #Кодинг #Qwen #Coder #Gemma
Тест локальных MOE моделей

Я тут решил решил чуток заморочиться и протестировать локальные MOE модели на кодинг. Кодинг громко сказано - мои задачи исключительно игры причем на html, css, js. Но зато с таким набором можно сразу в продакшен, легко проверить без компиляций, кроссплатформенность ну и другие известные плюсы и минусы. На тесте побывало 10 моделей: Qwen 3.6 (MTP), KAT Coder V2.5, Gemma 4, Aurora-Code-1, Frontis, GLM 4.7 Flash, Ornith 1.0, Salience 1.5 Pro, Agents A1, GPT-oss 20b. Ссылки на модели есть в таблице результатов на которую ниже будет тоже ссылка. Многие из этих моделей сделаны на базе Qwen и тем интереснее было тестировать, потому что по бенчмаркам в карточках моделей на HF они часто превосходят своего учителя. Правда я сразу был настроен скептически и понимал что вряд ли они смогут составить реальную конкуренцию - хоть и дообучаются на кодинг, но такого рода тесты не очень как будто бы проходят, что собственно и подтверждает итоговая таблица с результатами (подсчитывал результаты Qwen3.8-M

Я тут решил решил чуток заморочиться и протестировать локальные MOE модели на кодинг. Кодинг громко сказано - мои задачи исключительно игры причем на html, css, js. Но зато с таким набором можно сразу в продакшен, легко проверить без компиляций, кроссплатформенность ну и другие известные плюсы и минусы. На тесте побывало 10 моделей: Qwen 3.6 (MTP), KAT Coder V2.5, Gemma 4, Aurora-Code-1, Frontis, GLM 4.7 Flash, Ornith 1.0, Salience 1.5 Pro, Agents A1, GPT-oss 20b. Ссылки на модели есть в таблице результатов на которую ниже будет тоже ссылка. Многие из этих моделей сделаны на базе Qwen и тем интереснее было тестировать, потому что по бенчмаркам в карточках моделей на HF они часто превосходят своего учителя. Правда я сразу был настроен скептически и понимал что вряд ли они смогут составить реальную конкуренцию - хоть и дообучаются на кодинг, но такого рода тесты не очень как будто бы проходят, что собственно и подтверждает итоговая таблица с результатами (подсчитывал результаты Qwen3.8-Max):

Final = (Gameplay + Mobile + Visuals + Stability + Efficiency) × 2

Аналитику он брал с отдельной страницы (очень удобно что он может читать ссылки на страницы), где я свел описание ощущений играбельности и тестирования результатов в таблицы, так же скинул ему коллажи со скринами из игр, в общем +- я думаю этот рейтинг соответствует моим ощущениям по качеству. Таблицы и скрины тут: LLM_test. Сами игры в которые можно поиграть тут: LLM_test_games

Как все это делалось - я давал моделям абсолютно…

Похожие статьи

Поиск
Поиск

Почему в элитный сыр добавляют березовую кору и зачем это вашему здоровью

В Сибири, где сыроделие насчитывает более ста лет, учёные нашли неожиданное применение обычной берёзовой коре. Речь идёт о бетулине — веществе, которое извлекают из бересты, и которое, как выяснилось,...

Поиск
Синдром ИИ-самозванца у программистов Хабр
Хабр

Синдром ИИ-самозванца у программистов

Вайбкодинг — главный мем и одновременно главный тренд в разработке последних лет. Благодаря нейросетям порог входа в профессию размывается все сильнее: любой джуниор может собирать работающие приложен...

Хабр
Фьючерс из неликвида: почему СПБ Биржа хочет торговать заблокированными акциями Forbes Russia
Forbes Russia

Фьючерс из неликвида: почему СПБ Биржа хочет торговать заблокированными акциями

СПБ Биржа рассматривает запуск производных инструментов на заблокированные иностранные ценные бумаги. Они будут поставочными, то есть с передачей базового актива покупателю. Так биржа может реанимиров...

Forbes Russia
В литовском Вевисе завершили эксгумацию останков 81 советского солдата Life.ru
Life.ru
📈

В литовском Вевисе завершили эксгумацию останков 81 советского солдата

В городе Вевис в Литве завершились археологические работы на месте захоронения советских военнослужащих. В ходе них специалисты эксгумировали останки 81 человека. Об этом сообщил мэр муниципалитета Ге...

Life.ru · Ведомости · Московский Комсомолец Подробнее →
Акции «Башнефти» разошлись в динамике на фоне возможной продажи доли РБК
РБК

Акции «Башнефти» разошлись в динамике на фоне возможной продажи доли

В ходе торгов в среду «префы» «Башнефти» на минимуме теряли до 9%, при этом обыкновенные росли на 1%. В чем причина разной динамики — в материале «РБК Инвестиций

РБК
В Британии начнут выращивать человеческие мини-органы из клеток пациентов РБК
РБК

В Британии начнут выращивать человеческие мини-органы из клеток пациентов

Проект в Кембридже стоимостью £20 млн позволит создать библиотеку стандартизированных органоидов для разработки препаратов. Исследователи рассчитывают точнее оценивать их действие и снизить зависимост...

РБК