Плохой результат эксперимента тоже должен влиять на продукт
Разберём эту страницу вместе
Почему продуктовый тест должен уметь закончиться возвратом назад, если новая форма даёт больше обращений, но ухудшает качество решения покупателя.
Материал отражает практическую позицию указанного эксперта. Как готовятся и проверяются публикации — в редакционной политике NovAsia.
Эксперимент легко любить, когда новая версия показывает красивый рост. Например, условная форма обращения стала короче, и её отправляют чаще. Такой результат приятно вынести в отчёт: изменение сработало. Но количество отправок ещё не отвечает на главный вопрос — стало ли человеку проще решить свою задачу и получила ли команда запрос, с которым можно нормально работать.
До запуска нужно договориться, что будет считаться неудачей
Если критерий появляется только после результата, эксперимент почти всегда можно объявить успешным. Увеличились заявки — отлично. Не увеличились — зато форма стала короче. Стало больше нерелевантных обращений — значит, вырос охват. Такая логика защищает решение команды, а не проверяет его.
Поэтому мне важен не набор красивых показателей, а заранее понятная связь между изменением и пользовательской задачей. Возьмём условный пример без привязки к реальным данным NovAsia. В старой форме человек указывал, что ищет: жильё для себя, объект под аренду или пока сравнивает варианты. В новой версии этот вопрос убрали, чтобы уменьшить количество полей. Отправок стало больше.
Сам по себе рост ничего не говорит о качестве. Нужно посмотреть, что произошло дальше. Стало ли менеджерам чаще требоваться повторно выяснять базовую цель? Увеличилось ли число разговоров, которые быстро заканчиваются из-за того, что человек ожидал совсем другой тип помощи? Появились ли обращения, которые пользователь считал обычным вопросом, а команда воспринимала как запрос на подбор? Не выросло ли время до первого содержательного ответа?
Я бы не сводил это к одной новой «главной метрике». Здесь полезно видеть цепочку: что обещает интерфейс, что человек делает, какую информацию получает команда и насколько быстро обе стороны приходят к общему пониманию задачи. Иногда больше обращений действительно лучше. Иногда тот же рост показывает лишь то, что барьер убрали вместе с важным смыслом.
У эксперимента должен быть и наблюдаемый предел вреда. Если новая версия создаёт двусмысленность в согласии, скрывает существенное условие или заставляет человека повторно сообщать то, что раньше было ясно, команде не нужно ждать огромного массива данных, чтобы признать проблему. Не каждый риск этично или разумно «дотестировать» до статистической красоты.
Возврат назад — полноценный результат, а не поражение команды
Самая трудная часть эксперимента наступает после неудобного вывода. В новую форму уже вложены время и дизайн, команда привыкла к ней, кто-то публично объяснил, почему она должна быть лучше. Возврат выглядит как потеря работы. Именно поэтому продукту нужен процесс, в котором отмена изменения заранее считается допустимым исходом.
Я бы задавал простой вопрос: если бы сегодня обе версии лежали перед нами без истории разработки, какую мы выбрали бы на основании наблюдаемого результата? Это помогает отделить стоимость уже потраченных усилий от качества решения для следующего пользователя.
Возврат не обязательно означает полное восстановление старой версии. Эксперимент мог показать две вещи одновременно: сокращение формы действительно удобно, но конкретное удалённое поле было важным. Тогда следующий вариант может сохранить краткость и вернуть смысл другим способом. Главное — не заставлять данные подтверждать первоначальную идею.
Также важно фиксировать не только победы. Если внутри команды остаются только истории «мы изменили и стало лучше», следующая гипотеза будет строиться на неполной картине. Неудачный тест показывает, где интуиция была слабой, какой сигнал оказался ложным и какие побочные последствия стоит проверять раньше. Это знание может быть полезнее очередного процента роста.
Зрелый эксперимент заканчивается решением, а не презентацией. Иногда решение — оставить новую версию. Иногда — доработать её. Иногда — вернуть прежнюю. Если последний вариант заранее считается недопустимым, это уже не эксперимент: продукт просто ищет цифру, которой можно оправдать изменение.
Полезно также отделять результат теста от оценки людей, которые предложили гипотезу. Команда не проигрывает из-за того, что предположение не подтвердилось. Она проигрывает, если увидела нежелательный эффект и решила его не замечать ради уже вложенной работы. Такая культура особенно важна в сервисе, где лишняя заявка, неверно понятое согласие или потерянное условие — это не абстрактные проценты, а дополнительная путаница для конкретного покупателя.
Поэтому негативный результат стоит сохранять рядом с успешными. Он напоминает, что улучшение определяется не фактом запуска и не количеством труда, а тем, что стало происходить с человеком после изменения.