Как Cockroach Labs сокращала инструкции
После видео про тестирование AI-агентов я попросил подготовить три предложения в общие правила их работы. Последующая проверка показала, что часть предложенного уже реализована в инструментах. Три предложения удалось свести к одной конкретной доработке.
В истории Cockroach Labs на HN я узнал похожую проблему с другой стороны: инструкции копятся, а проверять их как код начинают позже.
В статье Cockroach Labs про MOLT Sinai авторы описали аудит 25 skill-файлов объемом больше 100 тысяч слов. Около 23 тысяч слов, то есть примерно 23%, они отметили как удаляемые без изменения обязательных проверок, команд, шаблонов и контрольных маркеров. Это количественная оценка текста, помеченного аудитом. Она не измеряет сэкономленные токены или деньги. Соавтор уточнил на HN, что при первом проходе агенты действительно убрали около 18% текста. Критерии проверки составил человек; команды, пороги и шаблоны менять запрещалось, различия проверяли отдельно.
