Как проверить AI-агента на своих данных за 3 дня

Вы запускаете пилот AI-агента, а через два месяца обнаруживаете, что ответы перепроверяют вручную. «Агент отвечает быстро, но брать готовое страшно», — говорит команда. Март 2026 года, опрос 650 руководителей: 78% компаний уже тестируют агентов, но менее 15% довели их до производства. И 60% провалов связаны не с моделью, а с состоянием данных и отсутствием управленческой приёмки. Протокол из трёх дней замыкает этот разрыв — вы узнаете, готовы ли ваши данные и процесс к агенту, до того как потратите ресурсы на полноценный пилот.

День 1: стоп-сигнал до старта

Выделите один рабочий сценарий. Не весь поток обращений, не «самый болезненный» процесс — одну повторяемую задачу с измеримым правильным ответом. Классификация входящих заявок по типам, сверка двух отчётов, операционная сводка по управленческой отчётности. Сценарий должен позволять чётко ответить на вопрос «это правильное действие или нет» — без экспертной дискуссии.

Стоп-критерий. Возьмите 5–7 типовых примеров из реальной практики и попросите самого опытного сотрудника дать по ним правильный ответ. Если ни один человек в компании не может воспроизвести эталон однозначно — данные и регламент не готовы. Остановите проверку здесь. Точка. Без эталона вы будете мерить ощущения, а как показало RCT-исследование METR, ощущение ускорения на 20% обернулось реальным замедлением на 19%.

Таблица: сценарии, подходящие и не подходящие для 3-дневной проверки

Выбрав сценарий, подготовьте эталонный датасет: 20–50 реальных кейсов с известными правильными ответами. Не нужно обучать модель, не нужно чистить всю базу — достаточно выгрузки из рабочего журнала или таблицы, где сотрудник уже вручную проставил правильный класс или значение.

День 2: замер на живых кейсах

Запустите агента на собранном эталоне. Никаких синтетических примеров — только данные, по которым вы точно знаете, каким должен быть ответ. Фиксируйте расхождение в простой таблице: номер кейса, ответ агента, эталонный ответ, совпало/не совпало.

Не оценивайте «на глаз». Разработчики в исследовании METR думали, что AI ускоряет их, потому что код появлялся быстрее, — но итоговые задачи закрывались на 19% дольше. Аналогичный эффект работает в бизнесе: «агент формирует ответ за секунду» не равно «менеджеры используют ответ без перепроверки». Замеряйте факт, а не впечатление.

Если агент требует внешних запросов к 1С или к файловому хранилищу, ограничьтесь в первый раз данными, которые можно загрузить вручную без программирования интеграций. Цель Дня 2 — не отладить систему, а понять, способен ли агент вообще воспроизвести логику вашего эталона.

День 3: три числа для решения

К концу третьего дня у вас на руках три метрики. Все они считаются по журналу действий, а не по опросу сотрудников.

1. Доля ответов, принятых без ручной перепроверки. Считается так: из 50 примеров эталона сколько ответов агента менеджер взял в работу без исправления. Приёмка: если доля ниже 70% — в сценарии слишком много неочевидных решений, агент воспроизводит их неуверенно. Нужно либо уточнить эталон, либо пересмотреть выбор сценария.

1. Время от отклонения до постановки задачи. До появления агента: от обнаружения ошибки в отчёте до назначения ответственного могло проходить 3–4 часа. После: замерьте по журналу, сократилось ли время. Агент, который просто генерирует текст, но не меняет цепочку действий, — декорация, а не инструмент.

1. Число новых исключений в неделю. Кейсы, которые агент классифицировал неправильно или вообще отказался обрабатывать. На этапе 3-дневной проверки вы получаете мгновенный срез: если больше 10% примеров стабильно попадают в «исключение» — стоп, процесс разнороден, агент без донастройки не справится.

Эти три числа вы получаете за 72 часа и принимаете решение: переходить к расширенному пилоту или возвращаться к порядку в данных. Без многомесячных итераций и бюджета на интеграцию.

Что дальше

Тест за 3 дня — это pre-flight, а не полный цикл внедрения. Если агент прошёл проверку, дальше потребуется архитектура под ваш стек и интеграции. Как устроен агент в реальной оптовой компании — от данных в 1С до первого действия, читайте в статье ai-agent-opt-arhitektura-primer. Чтобы посчитать экономический эффект до старта, возьмите формулу из статьи skolko-ekonomit-ai-agent-na-10000-zaprosov.

Когда данные прошли первичную проверку, следующий шаг — закрепить метрики в операционном контуре и еженедельно отслеживать динамику исключений. Офлайн-тест на эталоне — это снимок прошлого. Рабочий режим потребует добавления классификатора ошибок на потоке. Но это уже за границами трёхдневного протокола. Главный итог — вы перестаёте гадать и получаете три числа, на основании которых принимаете решение.

Хотите понять, работает ли AI-агент на ваших данных — покажем на разборе вашего сценария.