Как измерить эффект от внедрения AI: методика замера

Оговорка о теме

Не путайте два разных вопроса. «За счёт чего AI приносит деньги» — это про механику дохода: где растёт выручка, где падают издержки, какие процессы вообще способны дать эффект. Этому посвящён отдельный материал о том, как AI увеличивает прибыль. Здесь мы отвечаем на другой вопрос — как доказать, что эффект есть, и не обмануть самого себя. Это методическая статья, а не про источники прибыли.

Правило нулевого шага: метрика «до» обязательна

Это не рекомендация, а условие. Если показатель не зафиксирован до запуска, эффект нельзя измерить — можно только обсуждать впечатления. И обсуждение всегда заканчивается одинаково: тот, кто продвигал проект, видит улучшение, тот, кто был против, — не видит.

Замер «до» должен быть сделан до того, как процесс начнёт меняться, включая подготовку: как только команда узнаёт, что скоро замеряют, работа незаметно улучшается сама. Поэтому фиксация базового уровня — первое действие проекта, а не последнее перед пилотом.

Что входит в корректный замер «до»:

• Период. Не один день, а типичный отрезок — обычно две-четыре недели без праздников и авралов.
• Объём. Сколько единиц работы прошло: обращений, документов, заявок, карточек.
• Время на единицу. Среднее и, что важнее, разброс. Средние скрывают самое интересное.
• Качество. Доля ошибок, переделок, повторных обращений.
• Источник данных. Откуда взяты цифры и как их воспроизвести через месяц тем же способом.

Что именно считать

Метрик должно быть немного: одна главная и две-три поддерживающие. Десяток показателей гарантирует, что хотя бы один улучшится случайно и будет предъявлен как успех.

Отдельно про стоимость обработки одного обращения. Это самая честная сводная метрика: в неё входят и труд людей, и оплата модели, и обслуживание решения. Она не даёт себя обмануть — если обращения стали дешевле в обработке при том же качестве, эффект настоящий. Если время сотрудника упало, а расходы на сервисы выросли ровно на ту же сумму, эта метрика сразу покажет ноль.

Почему «стало удобнее» не метрика

Формулировки, которые нельзя принимать в качестве результата: «стало удобнее», «команда довольна», «работать приятнее», «мы теперь современнее». Все они непроверяемы, несравнимы и не переводятся в деньги.

Это не значит, что удобство неважно — от него зависит, приживётся ли инструмент. Но удобство измеряется тоже числом: сколько минут занимает операция, сколько кликов, сколько раз в день сотрудник переключается между системами, какая доля сотрудников продолжает пользоваться инструментом через месяц после запуска. Последний показатель, кстати, один из самых честных: если через месяц половина команды тихо вернулась к старому способу, проект не состоялся, что бы ни говорили на встречах.

Как отделить эффект AI от всего остального

Главная методическая ловушка. Бизнес меняется одновременно по десятку причин: сезон, реклама, цены, новый менеджер, действия конкурентов. Приписать весь рост внедрению — самообман, который дорого обходится при масштабировании.

Способ первый: контрольная группа

Самый надёжный. Половина заявок, один из двух складов, одна из двух смен поддержки работает по-старому, вторая — с новым инструментом. Внешние факторы действуют на обе части одинаково, поэтому разница между ними и есть эффект. Если процесс позволяет разделить объём — используйте этот способ.

Способ второй: сравнение с аналогичным периодом

Сравнивать нужно не с прошлым месяцем, а с тем же периодом прошлого года, с поправкой на общий рост бизнеса. Способ грубее, но работает там, где разделить объём нельзя.

Способ третий: журнал изменений

Простая таблица: дата, что изменили, кто. Правило — не запускать пилот одновременно с новой рекламной кампанией, сменой цен или наймом. Если совпадения избежать нельзя, оно должно быть хотя бы зафиксировано, чтобы потом не спорить вслепую.

Сроки: когда можно делать выводы

Смотреть на цифры имеет смысл не по календарю, а по накопленному объёму. Ориентиры:

• Первая неделя — не показатель. Идёт настройка, команда привыкает, ошибок больше обычного. Данные этой недели в замер не берут.
• Две-четыре недели — рабочий горизонт для частых процессов: поддержка, обработка документов, ответы на заявки. За это время накапливаются сотни однотипных случаев.
• Полтора-два месяца — если цикл сделки длинный и конверсия видна не сразу.
• Квартал — для решения о масштабировании на всю компанию, когда уже видно, держится ли эффект после того, как схлынул интерес к новинке.

Эффект новизны — реальная проблема. Первые две недели люди работают внимательнее просто потому, что за ними наблюдают. Поэтому промежуточный замер делают дважды: сразу после пилота и через месяц после него. Если между этими двумя точками показатель заметно просел — значит, держался он на внимании, а не на процессе.

Как считать деньги

Перевод в рубли делается по простой схеме, без хитрости. Экономия времени умножается на реальную стоимость часа сотрудника — с налогами и накладными, а не на оклад, делённый на сто шестьдесят. Из полученной суммы вычитаются расходы на решение: стоимость обработки моделью, обслуживание, сопровождение, а на первый год — ещё и стоимость внедрения.

Здесь же самая частая натяжка: сэкономленные часы не превращаются в деньги автоматически. Если сотрудник стал тратить на рутину на два часа в день меньше, но эти часы никуда не направлены, компания не сэкономила ничего — она получила два часа простоя. Экономия становится настоящей только тогда, когда освободившееся время либо занято работой, приносящей выручку, либо позволило не нанимать следующего человека при росте объёма.

Считайте не то, сколько часов освободилось, а то, чем эти часы заняты. Первое — красивая цифра в презентации, второе — реальный эффект в отчёте о прибыли. — команда Aivonix

Когда честно признать, что не получилось

Пилот, который не подтвердил цифры, — это не провал, а сэкономленный квартал. Опасен не отрицательный результат, а его сокрытие: проект тянут дальше «потому что уже вложились», и он превращается в постоянную статью расходов без отдачи.

Признаки, при которых нужно остановиться и пересобрать подход:

• Главная метрика не сдвинулась при достаточном накопленном объёме.
• Время выросло, потому что теперь нужно проверять за системой больше, чем экономится.
• Доля ошибок снизилась, но выросли самые дорогие ошибки — те, что доходят до клиента.
• Люди перестали пользоваться инструментом, хотя формально он работает.
• Эффект держался первые две недели и исчез на третьей.

В каждом из этих случаев вывод один и тот же: остановиться, разобрать причину и либо изменить процесс, либо признать, что выбран не тот участок. Выбор участка — половина успеха, и подробно он разобран в материалах о порядке внедрения AI и в пошаговом плане. Если же речь про клиентские сценарии, полезно заранее понимать разницу подходов — она разобрана в статье чат-бот или AI-агент.

Короткий чек-лист замера

1. Выбрать одну главную метрику и две поддерживающие.
2. Зафиксировать «до» за типичный период и записать способ подсчёта.
3. Определить, как отделите эффект: контрольная группа или сравнение с аналогичным периодом.
4. Запустить пилот, первую неделю в расчёт не брать.
5. Замерить «после» тем же способом, на сопоставимом объёме.
6. Перевести в деньги, вычтя все расходы на решение.
7. Повторить замер через месяц — проверить, что эффект держится.
8. Принять решение: масштабировать, переделать или остановить.

FAQ

Что делать, если метрику «до» не зафиксировали, а внедрение уже идёт?

Восстановить ретроспективно по сохранившимся данным: выгрузки из CRM, журналы обращений, отчёты систем, табели. Если восстановить нечего — вернуть часть объёма на прежний способ работы и померить обе ветки параллельно. Дороже, чем измерить сразу, но дешевле годового спора.

Почему «сотрудникам стало удобнее» не считается результатом?

Это оценка, а не измерение: её нельзя проверить, сравнить с прошлым периодом и перевести в деньги. Если удобство важно, его тоже переводят в число — минуты на операцию, число переключений, доля продолжающих пользоваться через месяц.

Сколько должен длиться пилот?

Обычно две-четыре недели на частых процессах и до полутора-двух месяцев при длинном цикле сделки. Ключевое условие не календарь, а накопленный объём однотипных случаев: неделя на десяти обращениях ничего не доказывает.

Как отделить эффект AI от сезонности?

Контрольная группа на части объёма — самый надёжный способ. Дополнительно: сравнение с аналогичным периодом прошлого года и журнал изменений, чтобы не запускать пилот одновременно с рекламной кампанией или сменой цен.