Стоят ли гардеробные расходы? Эта статья является частью серии: "Исследование Gen AI". Я сравнил агенты кодирования, создавшие одну и ту же службу API с поведенческими ремнём. Модель границ GPT-6 Sol прошла все внешние оценки в любом случае. Но модель с оптимальными затратами, GPT-6 Luna, преуспела только в 3 из 10 неочерёдных прогонов и во всех 10 с помощью жгута. В дополнение к этому включённый элемент увеличил использование символов и продолжительность работы для Луны, повернутые рейсы " луна &qt; достигли той же 10-процентной надежности, что и GPT-6 Sol, при этом стоимость на 33% меньше (0,273 долл. США против 0,406). Этот эксперимент предполагает, что поведенческий инструмент может быть практичным способом получения надежных результатов от более мелких моделей с оптимальными затратами. 13 октября 2026 года я приступил к этому эксперименту в ожидании поведенческих инструментов для того, чтобы помочь кодировщику выполнить требования более надежно, сохранить символы и не допустить ненужной работы. Предоставление агенту четких архитектурных контрактов и детерминистских тестовых отзывов, пока он был закодирован, казалось очевидным способом помочь ему добиться осуществления прямо на первом пропуске. Для GPT-6 Sol, привязка использовала примерно в 10,5 раза больше жетонов, заняла почти 3 раза дольше и стоила в 7 раз дороже, но оба условия оказались успешными во всех 10 прогонах. Результаты полностью противоречили ожиданиям и удивили меня. Используя Codex вместе с GPT-6…
Стоят ли гардеробные расходы?
Нареш Джейн сравнивает агенты кодирования, строящие одну и ту же услугу API с поведенческим жгутом и без него. Модель границ GPT-6 Sol прошла все внешние оценки в любом случае. Но модель с оптимальными затратами, GPT-6 Luna, преуспела только в 3 из 10 неочерёдных прогонов и во всех 10 с помощью жгута. В дополнение к этому включённый элемент увеличил использование символов и продолжительность работы для Луны, повернутые рейсы " луна &qt; достигли той же 10-процентной надежности, что и GPT-6 Sol, при этом стоимость на 33% меньше (0,273 долл. США против 0,406). Этот эксперимент предполагает, что поведенческий инструмент может быть практическим способом получения надежных результатов от более мелких моделей с оптимальными затратами.
