Оценка агентных систем

Всем привет! Меня зовут Владимир, я DS-инженер и сегодня расскажу, как оценивать агентные системы. Разберём, как замерить и выстроить пайплайн оценки, который показывал бы вам, насколько хорошо повлияли те или иные фичи на качество вашего продукта.

Определения

Прежде чем погружаться в тестирование, договоримся о терминах:

LLM (Large Language Model) — большая языковая модель, обученная предсказывать следующий токен на огромных корпусах текста.