Бенчмарки моделей для кода: SWE-bench, Terminal-Bench и что они значат

В анонсах моделей для кода всегда есть таблица с процентами. Одна и та же модель может набрать 97% на одном тесте и 55% на другом, и оба числа будут правдой. Разберём, что измеряет каждый популярный тест, почему разработчики моделей постоянно переходят на новые и как читать эти цифры, чтобы не ошибиться с выбором.

Зачем нужны бенчмарки

Бенчмарк это набор задач с автоматической проверкой. Модель получает задачу, выдаёт решение, а тесты решают, засчитать его или нет. Итог считают как долю решённых задач. Хороший тест для кода похож на настоящую работу, проверяется без участия человека и не встречался модели при обучении. Последнее условие выполнить труднее всего: задачи публичные, и со временем они попадают в обучающие данные.

SWE-bench Verified: настоящие ошибки из GitHub

SWE-bench собран из настоящих задач (issues) в открытых проектах на Python. Модель получает описание проблемы и код репозитория, а её исправление проверяют скрытые тесты, которые написали авторы проекта. Первая версия теста 2023 года оказалась слишком шумной: часть задач нельзя было решить по описанию. В августе 2024 года OpenAI выпустила SWE-bench Verified: 93 разработчика проверили 1 699 задач и оставили 500 понятных и решаемых.

На момент выпуска GPT-4o решала 33,2% задач Verified. Дальше результаты росли быстрее, чем кто-либо ожидал:

У теста накопились проблемы. Задачи публичные, поэтому могли попасть в обучение моделей. Epoch AI оценивает, что 5-10% задач всё ещё содержат ошибки, то есть 100% недостижимы в принципе. В феврале 2026 года OpenAI перестала публиковать результаты Verified и рекомендовала более трудный SWE-bench Pro, а 1 сентября 2026 года независимый стенд Vals AI убрал тест в архив с лучшим результатом 97%.

Terminal-Bench: работа в терминале

Terminal-Bench проверяет то, что агент делает чаще всего: работу в командной строке. В версии 2.0 было 89 задач, отобранных из 229 предложенных: собрать проект, настроить сервис, починить окружение, найти и исправить ошибку. У каждой задачи своё изолированное окружение, эталонное решение, написанное человеком, и тесты.

Версии теста заметно отличаются по трудности, и сравнивать числа разных версий нельзя. Например, Gemini 3.8 Flash набирает больше 80% на версии 2.1 и 19% на версии 4.0. Сейчас разработчики публикуют результаты Terminal-Bench 4.0, и лучший из них 70,6% у Claude Sonnet 5.5 по данным Anthropic. Тест далёк от исчерпания, поэтому разница между моделями на нём заметна.

DeepSWE, SWE-bench Pro и другие новые тесты

Когда старые тесты насыщаются, появляются новые, длиннее и труднее. SWE-bench Pro от Scale AI взял идею SWE-bench, но добавил задачи из разных языков и закрытую часть, которую нельзя увидеть заранее. DeepSWE проверяет длинные задачи в настоящих репозиториях, где агенту приходится долго разбираться в чужом коде. В карточках моделей осени 2026 года встречаются также FrontierCode, CursorBench и SWE-Marathon для многочасовых задач.

Новые тесты удобны тем, что на них ещё видна разница между моделями. Минус в том, что каждый разработчик выбирает тесты, где он сильнее, и полной таблицы, где все модели прошли все тесты, почти никогда нет.

Aider Polyglot и LiveCodeBench

• Aider Polyglot: 225 трудных упражнений с Exercism на C++, Go, Java, JavaScript, Python и Rust. Проверяет, умеет ли модель править код по инструкции без помощи человека. Полезен тем, что охватывает не только Python.
• LiveCodeBench: задачи с олимпиадных площадок LeetCode, AtCoder и Codeforces. У каждой задачи есть дата публикации, поэтому модель можно проверить только на задачах, вышедших после её обучения. Это самый честный способ бороться с утечкой задач в обучение.

Олимпиадные задачи хорошо показывают умение думать алгоритмически, но плохо предсказывают работу в настоящем проекте, где важнее найти нужный файл и не сломать соседний код.

Текущие модели на трёх тестах

Обратите внимание на третью вкладку. На SWE-bench Verified десять моделей уложились между 75% и 97%, и шесть из них выше 93%. На Terminal-Bench 4.0 разброс от 38% до 71%: тест ещё различает модели.

Как читать цифры

1. Сравнивайте одну версию теста. Terminal-Bench 2.0, 2.1 и 4.0 это разные тесты с разной трудностью.
2. Смотрите, кто измерял. Числа разработчика получены на его стенде и с его настройками. Независимые замеры (Vals AI, Artificial Analysis) запускают все модели одинаково, но выходят позже.
3. Считайте разницу в 2-3 пункта ничьей. Это обычный разброс между запусками и стендами.
4. Не забывайте про цену и скорость. Модель на 3 пункта слабее, но в 10 раз дешевле, часто выгоднее для повседневной работы.
5. Проверяйте на своих задачах. Ни один тест не знает ваш стек, ваш код и ваши привычки.