SWE-bench

Отраслевая мера: доля реальных задач из открытых репозиториев, закрытых без участия человека.

SWE-bench проверяет не генерацию отдельной функции, а исправление настоящей задачи в существующем репозитории с тестами и зависимостями. Verified-версия дополнительно отфильтрована людьми, но результат всё равно не равен работе разработчика: тест может не покрывать архитектуру, безопасность и сопровождаемость изменения.

Источники

SWE-benchОткрыть первоисточник