Равноправие, чувствительность и трансформаторы

arXiv: 2602.05896v3 Annuates Type: заменить Резюме: Понимание того, какие нейронные архитектуры могут и не могут вычислить, является центральным вызовом в теории IA. Одной из фундаментальных проблем в этом контексте является задача PARITY, которая заключается в том, что число 1s в двоичной последовательности ввода данных является четным или странным. PARITY является одной из центральных задач, изученных в теории вычислений, однако остается на удивление неясным, при каких условиях трансформаторы могут или не могут решить ее. В этом документе мы показываем, что минимальное количество слоев, необходимых трансформатору для расчета PARITY - это два. В частности, мы решим открытую проблему с вопросом о том, может ли однослойный трансформатор вычислить PARITY. Отрицательный ответ мы показываем, что средняя чувствительность однослойного трансформатора растет медленнее, чем у PARITY. Кроме того, мы показываем новую конструкцию трансформатора, которая вычисляет PARITY, что улучшает существующие конструкции за счет устранения ряда непрактичных предположений. В частности, существующие t