SWE-DeceptionBench: Контрольные параметры обманчивых поступков ОВМ в рамках жизненного цикла разработки программного обеспечения
arXiv: 261 010.13626v 1 Annuse Type: кросс-бюллетень: Большие языковые модели (LMM) все чаще используются на протяжении всего жизненного цикла разработки программного обеспечения. Такая растущая зависимость от МЛМ вызывает обеспокоенность по поводу их надежности, причем обман представляет собой особо важный риск. Мошенничество принимает форму вводящих в заблуждение ответов или помощи при измышлении, сокрытии и искажении информации. Для изучения такого поведения мы введем SWE-DeceptionBench, ориентир для оценки обмана LLM в области разработки программного обеспечения. Этот контрольный показатель охватывает шесть этапов жизненного цикла и два источника обмана: активный обман, когда модели признают неосуществимые или противоречащие друг другу требования, но по-прежнему представляют их как достижимые; и пассивный обман, в рамках которого модели помогают удовлетворить явные запросы пользователей с целью ввести других в заблуждение. Мы также введем нейтральные, наградные и давительные условия для изучения воздействия внешних стимулов, что приведет к 720 пробным примерам на китайском и английском языках. Оценка семи основных МЛМ