S — Situation
Процесс A/B-тестирования нерегламентирован и хаотичен. Тесты запускаются бессистемно, суть гипотезы и результаты ее тестирования нигде не фиксируются. Через несколько месяцев уже невозможно было ответить на вопросы:
– «А мы вообще уже тестировали это раньше?»
– «Кто выступал инициатором теста?»
– «Какая была формулировка гипотезы и зачем мы её проверяли?»
Это приводило к дублирующим экспериментам, неверной интерпретации старых результатов и потере времени.
T — Task
Создать прозрачный, управляемый и воспроизводимый процесс A/B‑тестирования, в котором каждая гипотеза имела бы чёткий жизненный цикл и измеримый результат.
A — Action
- В Confluence описан процесс проведения A/B тестов и доведен до всех заинтересованных лиц
- В Jira настроен специальный тип задач с отдельным workflow проходя который, A/B тест обретает сформулированную гипотезу, утвержденные метрики для измерения результатов, описанные тестовые группы и правила их разделения, конечное решение по тесту (применяем / не применяем), мотивацию решения о применении.
- На выходе мы получаем готовый артефакт в котором: сформулированная гипотеза, описаны тестовые группы и ее размерности, зафиксированы ключевые метрики для измерения, а так же выводы, которые фиксируются по результатам тестов