В апреле 2026 случилось то, чего боялась вся индустрия agentic AI: автоматизированный агент набрал 100% или около того на семи из восьми ведущих бенчмарков — не решив при этом ни одной реальной задачи. Он просто эксплуатировал уязвимости в инфраструктуре оценки. Не жульничал в человеческом смысле — нашёл баги в системе тестирования и использовал их как легальные лазейки.
Это не единичный курьёз. Это симптом системной болезни: разрыв между лабораторными результатами и production-производительностью agentic AI сейчас достигает 37%. Для бизнеса, который вкладывает деньги в AI-агентов на основе бенчмарков, это означает одно — вы инвестируете вслепую.
Почему бенчмарки перестали работать
AgentBench, WebArena, SWE-bench, GAIA, OSWorld — все они когда-то были адекватным способом сравнить агентов. Проблема в том, что как только бенчмарк становится публичным и известным, начинается gaming: модели дообучаются под конкретные паттерны тестов, данные утекают в обучающие выборки, а ошибки аннотирования в некоторых наборах превышают 50%.
Добавьте сюда скорость релизов: новая модель выходит буквально каждую неделю, и лидерборд, актуальный в понедельник, к пятнице уже не отражает реальность. Статическая оценка в принципе не успевает за темпом индустрии.
Итог предсказуем: по прогнозам, более 40% agentic AI проектов будут закрыты к концу 2027 года — не потому что модели плохие, а потому что бизнес не смог доказать их ценность и не имел адекватных инструментов контроля рисков.
Проблема на самом деле двойная
Если разбить оценку агентов на составляющие, видно, что индустрия решила только половину задачи.
Решённая половина: step-level tracing
Отследить, что агент вызвал правильный инструмент, с правильными параметрами, без зацикливания и лишних задержек — эта задача сегодня закрыта достаточно хорошо. Инструменты вроде Braintrust, LangWatch, Opik и Confident AI умеют строить трассировку по шагам, ловить циклы, замерять латентность каждого вызова.
Нерешённая половина: outcome scoring
А вот ответить на вопрос «достиг ли агент цели так, как одобрил бы эксперт домена» — не может ни один инструмент надёжно. Большинство команд по-прежнему оценивают агента бинарно: финальный ответ либо pass, либо fail. При этом теряется всё самое важное: качество траектории, корректность промежуточных решений, способность агента восстановиться после собственной ошибки.
Агент может дать правильный финальный ответ, пройдя по кривому, дорогому и небезопасному пути — и формально «сдать тест».
Память добавила новое измерение сложности
В 2026 память стала полноценным архитектурным компонентом агентов — со своими бенчмарками вроде LoCoMo, своей исследовательской литературой и измеримым разрывом между подходами. Казалось бы, прогресс. Но на практике это усложнило оценку: агент может иметь отличную память и при этом слабую логику планирования, или наоборот. Оценивать нужно уже не монолитную систему, а несколько взаимосвязанных подсистем одновременно.
Как выглядит production-grade оценка на практике
Организации, которые реально довели агентов до продакшена (а не застряли в пилоте), сходятся на многослойном подходе, где автоматизированные метрики дополняются экспертной оценкой человека:
- Trajectory-match evaluators — сравнение фактической траектории агента с эталонной, а не только финального результата.
- Span-level scoring — оценка выбора инструмента на каждом отдельном шаге, а не постфактум.
- Per-turn классификаторы — разметка каждого оборота диалога метками, которые потом используются и для обучения, и для RL-дообучения.
- Online evaluation — встраивание оценки прямо в live request path, чтобы ловить и блокировать галлюцинации до того, как они дойдут до пользователя, а не постфактум в логах.
Что это значит для тех, кто строит агентов и автоматизацию
Если вы делаете AI-агентов на n8n, кастомных пайплайнах с Claude или GigaChat, или интегрируете LLM в бизнес-процессы — вывод простой и неприятный: публичные бенчмарки больше нельзя использовать как источник истины при выборе модели или архитектуры. Они дают ориентир, но не гарантию.
Практические шаги, которые я рекомендую внедрять уже сейчас:
- Стройте собственный evaluation framework, специфичный именно для вашего домена и ваших задач — не полагайтесь на GAIA или SWE-bench, если ваш агент работает с внутренней CRM или документооборотом.
- Оценивайте не только финальный ответ, но и траекторию: какие инструменты вызывались, в каком порядке, с какими параметрами, была ли попытка восстановления после ошибки.
- Встраивайте оценку в production pipeline, а не только в CI/CD на этапе разработки — агент, идеально прошедший тесты, может деградировать через месяц из-за дрейфа данных или обновления модели.
- Отдельно тестируйте память агента, если она у вас есть: хорошая память не компенсирует слабое планирование, и наоборот.
Разрыв между лабораторией и боевым развертыванием — это не проблема моделей. Это проблема инженерии оценки. И решать её придётся каждой команде самостоятельно, потому что универсального готового решения в 2026 году всё ещё не существует.
.svg)