oMebench: На пути к эффективному определению базовых показателей МЛМ в рамках органического механизма

arXiv: 2510,07731v4 Тип уведомления: заменить резюме: Органические механизмы реакции описывают поэтапные элементарные процессы, в рамках которых реакторы превращаются в промежуточные и продукты и имеют основополагающее значение для понимания химической реактивности и направления молекулярного и реакционного отключения. Хотя крупные языковые модели (МПМ) продемонстрировали перспективность в отношении химических задач, таких как проект синтеза, остается неясным, в какой степени это отражает реальные возможности химического мышления: способность генерировать химически обоснованные промежуточные элементы, поддерживать последовательность между этапами реакции и следовать логически последовательным многоэтапным путям. Для изучения этого вопроса мы введем OMeBench, первый крупномасштабный экспертный эталонный показатель для обоснования органического механизма, включающий более 10 000 аннотированных механистических шагов с знаками типа реакции, промежуточными структурами и рейтингами трудностей. Для того чтобы дать возможность провести тонкую оценку, мы также предлагаем ОМС - динамические рамки оценки, которые совместно оценивают уровень lo