Привет, Хабр. Девять лет я живу в мире управления уязвимостями, а не в центре мониторинга. Тревоги по работе не разбираю, плейбуки реагирования не пишу, справедливости ради конечно, я примерно 4 года назад занимался продуктом класса SIEM. И вот осенью я записался на соревнование, где надо было собрать ИИ-агента, который разбирает тревоги вместо аналитика первой линии.
Коллеги-организаторы уже рассказали про соревнование со своей стороны - вот их статья на Хабре. Там про замысел, формат и общие выводы по всем участникам. Я расскажу, как это выглядело изнутри у одного человека, который зашел в тему с нуля: с чего начинал, что пробовал, сколько гипотез проверил, где ошибался и почему одни решения сработали, а другие нет.
Итоги по лидербордам соревнований у меня вышли такие:
Сразу предупрежу: это не рассказ о том, как я написал гениального агента и всех обыграл. Это рассказ о том, как в соревновании со скрытой оценкой легко поверить в собственную выдуманную метрику - и сколько раз я в нее поверил. Если вы строите LLM-агентов для безопасности или для любой задачи, где правильный ответ заранее неизвестен, мои грабли пригодятся вам больше, чем места в таблице.
![[Перевод] Телеуправление, симуляции и камеры на кепках: как добывают данные для обучения роботов](/api/public/img?url=https%3A%2F%2Fhabrastorage.org%2Fextt%2F20%2Fc8%2Fe1%2F20c8e1f0da5cf1b56bfa626f2cf6dd76.png&s=card&sig=dd5bc0e5677c3b07ab4740602c50ce4a)
