Когда без А/В-тестирования можно обойтись

Муслим Бабаев

Руководитель направления продуктовой аналитики KION

A/B-тестирование — мощный инструмент развития продукта, который позволяет повысить эффективность работы интернет-ресурса или приложения. С помощью A/B-тестов можно постоянно увеличивать конверсию в регистрацию, подписку, просмотры – все для того, что принять верное решение по развитию продукта. В том числе — онлайн-кинотеатров, где занято огромное количество ИТ-специалистов. Конечно, решения можно принимать на основе внутренних ощущений или экспертного мнения, однако современный цифровой продукт должен опираться исключительно на A/B-тесты, которые позволяют принимать решения практически безошибочно. 

Но бывают ли случаи, когда можно обойтись без А/В-тестирования? Бывают. И о них редакции IT Speaker рассказывает руководитель направления продуктовой аналитики KION Муслим Бабаев.

Зачем в принципе нужны А/B-тесты 

Представим, что ваш проект уже работает и собирает пользователей и трафик. Вы начинаете задумываться о небольших переменах, к примеру, добавлении нового виджета или изменении иконки. Думая об этом, вы основываетесь на интуитивном предположении о том, что перемены необходимы, и что продукт выиграет от их введения, так как пользователю они понравятся. А может быть, и о том, что это поможет привести новых пользователей. Иными словами, это ваши личные взгляды, которые могут не совпадать со взглядами аудитории. Поэтому для проверки предположений используют A/B-тесты, которые помогают точнее понять, нужны ли эти перемены. 

Но что, если A/B-тесты – пустая трата времени? Такие случаи в практике тоже есть. Рассмотрим некоторые из них

Не проводите A/B-тестирование, пока у вас нет достаточного количества трафика

A/B-тестирование стало настолько повсеместным, что без него трудно представить себе мир разработки современных цифровых продуктов. Однако обращаться к тестированию, когда ваш проект еще не заработал в полную силу, не всегда целесообразно. Связано это с таким понятием, как статистическая значимость. 

Статистическая значимость — важное понятие в тестировании. Протестировав достаточно большую группу пользователей, вы определите, что предпочитают пользователи, и уменьшите вероятность того, что идентифицированное вами предпочтение на самом деле является результатом ошибки выборки. Другими словами, если сделать тест на малой выборке, может оказаться так, что на большой выборке – на миллионах пользователей – результат будет противоположный. Тем самым вы только ухудшите продукт, пребывая в иллюзии, что вы сделали для продукта хорошо. 

Проверка с помощью оценки статистической значимости эффекта гарантирует, что итоги «раскатки» изменения на большую выборку будут совпадать с результатом небольшого теста. Отраслевым стандартом является уровень значимости в 5%, то есть p-value должно быть меньше 0,05. На языке бизнеса это значит, что при «раскатке» изменения на миллионы пользователей существует вероятность, не превышающая 5%, что результаты влияния на миллион пользователей будут хуже, чем показал A/B-тест. 

Для тестирования небольших изменений вам понадобится большой размер выборки. Если у вас молодой продукт, в котором трафик исчисляется сотнями пользователей в день, возможно, вам придется проводить А/B-тест месяцами (чтобы накопить число участников эксперимента так, чтобы p-value было <0,05). На такой стадии развития продукта может быть целесообразным использование другого аналитического инструмента, а прибегать к А/B-тестированию можно будет при наличии достаточного трафика.

Не проводите A/B-тестирование, если у вас еще нет обоснованной гипотезы

Хороший аналитик или продакт-менеджер никогда не начинает эксперимент без гипотезы. Чтобы сформулировать свою гипотезу, сначала определите проблему (или «боль», как мы говорим в KION), которую хотите решить. Допустим, пользователи выбирают фильм из каталога, но так и не начинают его смотреть. 

Основываясь на небольшом исследовании рынка и собственном суждении, вы считаете, что если вы добавите «Большую Красную Кнопку» с надписью «Я точно хочу посмотреть этот фильм», вы сможете увеличить конверсию. Важно зафиксировать вашу метрику успеха, а также определить минимальный эффект, который вы считаете существенным для продукта. Все изменения, которые будут ниже этого порога, будут расценены как отсутствие эффекта. 

В этом примере предположим, что вы хотите увеличить конверсию минимум на 20%. Научная гипотеза обычно записывается в формате «если — то». Итак, ваша гипотеза звучит так: «Если я добавлю Большую Красную Кнопку, то как минимум на 20% больше людей начнет смотреть фильм». В конце теста вам нужно будет принять некоторые решения. Если ваш тест положительный и подтверждает вашу гипотезу, вы победили и можете «катить» изменение на всех пользователей. 

Если ваш тест не дает ожидаемых результатов, проанализируйте пользовательский путь, извлеките знания из проведенного теста. Используйте полученную информацию, чтобы сгенерировать новую гипотезу и запустить следующий эксперимент.

Не проводите A/B-тестирование, если применим альтернативный метод оценки изменений

Существует множество эконометрических методов, позволяющих оценить эффект от внедренных изменений. Среди них разность разностей, мэтчинг, синтетический контроль и другие. Если изменение, которое вы хотите внедрить в продукт, может быть достоверно оценено доступным эконометрическим аппаратом, не требующим дополнительной разработки и не несущим больших рисков — это отличная возможность внедрить изменения дешевле. Но надо быть внимательным, потому что необходимо выполнение определенных условий, чтобы произвести оценку таким образом. 

Более того, бывают ситуации, когда само А/B-тестирование не применимо. Например, если вы хотите провести запуск кардинально нового функционала, требующего масштабной маркетинговой кампании или запускаете новый продукт. Также бывают запуски, требующие определенного времени «на раскачку», в таком случае результаты краткосрочного А/B-тестирования будут не показательны, а долгосрочно держать часть пользователей без определенного функционала может быть стратегически неприемлемо. 

*** 

Подводя итог, хочется отметить, что А/B-тестирование при правильном применении — это мощнейший инструмент в развитии продукта. Однако надо подходить к нему с умом и не забывать, что существуют альтернативы, которые также могут быть полезны вашему бизнесу.