В предыдущей статье я сравнивал SVG с пеликаном и фламинго, полученные через несколько API-сервисов. В комментариях заметили, что одна картинка — слишком простая задача для проверки того, какая модель работает за сторонним API. В комментариях предположили, что на задачах минут на пятнадцать, с большим контекстом, посредник может подменять модель, а результат от этого становится хуже. На этот раз я выбрал задачу с последовательным чтением файлов, написанием кода и запуском тестов: разобрать дистрибутив Pomotroid, заново реализовать настольный помодоро-таймер, а затем добавить импорт и экспорт состояния. Для сравнения с официальным API OpenAI взял два известных сервиса — OpenRouter и TeamoRouter.
Что показал предыдущий тест
В SVG можно сразу посмотреть на птицу, колёса и то, как она сидит на велосипеде. Но после одной генерации всё заканчивается. В такой задаче нет работы с существующим проектом, вызовов инструментов, поиска собственных ошибок и новых требований к уже написанному коду. Да и сходство картинок само по себе не доказывает, что за посредником стоит та же модель.
Поэтому здесь меня интересовали три вещи: получится ли работающее приложение, какие проверки оно пройдёт и сколько будет стоить вся задача.