После сообщения двадцать клиентов снова пришли в салон. Удобно записать в отчёт «рассылка вернула двадцать человек», но часть этих клиентов могла прийти и без сообщения. Для оценки дополнительного эффекта нужен ответ на другой вопрос: как часто за тот же срок возвращались сопоставимые клиенты, которым эту рассылку не отправляли?
Сначала выберите действие, которое будете считать
В нашем учебном сценарии результат — хотя бы один завершённый визит клиента за заранее выбранное окно наблюдения. Два визита одного человека всё равно дают один положительный результат. Открытие сообщения, переход по ссылке, запись и фактический визит — разные события. Если сравнивать их под одним названием «конверсия», вывод будет зависеть от того, какой экран открыл администратор.
До запуска определите подходящий сегмент и случайно распределите его на две непересекающиеся группы. Одной назначьте предложение, второй эту конкретную маркетинговую рассылку не отправляйте. В документации Mindbox контрольная группа также описана через отсутствие тестируемой рассылки. Это принцип эксперимента, а не совет отключать обычные сервисные подтверждения записей.
В знаменателе остаются все назначенные участники
Сравнивайте группы, сформированные до отправки, а не только тех, кому сообщение доставили или кто его прочитал. Доставка и чтение могут зависеть от особенностей клиента. Исключив недоставленные сообщения после распределения, вы измените состав группы и получите другой вопрос исследования.
Окно наблюдения, правило завершённого визита и критерии включения должны быть одинаковыми. Если одной группе дать месяц, а другой неделю, разница может возникнуть просто из-за времени. Нельзя также заменять случайное распределение сравнением постоянных клиентов с теми, кто давно не приходил: исходные шансы возврата различаются.
| Группа | Назначено клиентов | Был завершённый визит | Не было завершённого визита | Наблюдаемая доля |
|---|---|---|---|---|
| Назначено сообщение | 100 | 20 | 80 | 20% |
| Контроль, без этой рассылки | 100 | 15 | 85 | 15% |
| Разница долей | Одинаковый размер групп | Плюс 5 процентных пунктов, не двадцать дополнительных клиентов | Относительно контроля: плюс 33,33% | |
В примере все данные вымышлены. Разница 20% − 15% равна пяти процентным пунктам. Относительный рост считается иначе: 20% / 15% − 1, то есть около 33,33%. Это две записи одного наблюдаемого различия, а не два отдельных результата кампании.
Что добавляет критерий Фишера
Инструмент строит таблицу «группа × был визит» и вычисляет двустороннее p-value критерия Фишера. Используется правило из документации SciPy для таблицы 2 × 2: при фиксированных суммах строк и столбцов складываются вероятности таблиц, не превышающие вероятность наблюдаемой. Расчёт весов выполняется целыми числами; для проверки сохраняется точная дробь.
Такой тест оценивает совместимость таблицы с моделью отсутствия связи между группой и результатом при её предпосылках. p-value не является вероятностью того, что рассылка работает, и не сообщает, какая доля визитов вызвана сообщением. Даже маленькое значение не исправит ошибочное формирование групп, разное время наблюдения или повторный подсчёт одних и тех же людей.
Три ситуации, в которых цифры легко переоценить
- В контроле никто не вернулся
- Относительный рост от нулевой доли не вычисляется. Абсолютную разницу долей посчитать можно; бесконечный рост не нужно превращать в рекламное обещание.
- Группы очень маленькие
- Один человек заметно меняет долю. Отсутствие убедительного различия не доказывает одинаковую эффективность и не означает, что выборку уже можно прекращать.
- Просмотрено много вариантов
- Выбор самого удачного текста, сегмента или дня окончания после просмотра результатов меняет задачу. Обычное p-value одной таблицы не учитывает весь такой поиск.
Размер группы в форме ограничен пятьюстами клиентами, чтобы локальный расчёт оставался небольшим. Это технический предел, а не рекомендация набрать именно столько участников. Нужный размер исследования зависит от исходной доли, различия, которое важно заметить, и выбранного плана анализа. Инструмент этих параметров не рассчитывает.
Как перейти от статистики к решению салона
Зафиксируйте план до отправки, дождитесь общего окончания окна и проверьте выгрузку по уникальным клиентам. Отдельно оцените затраты на сообщения, скидки и обслуживание дополнительных визитов. Более высокая доля возвращений не гарантирует положительной прибыли, а наша форма не содержит денежных полей и не подменяет калькулятор окупаемости.
В текущем описании Homade сообщения отправляет администратор или внешний сервис; система помогает работать с базой и контактами. Поэтому статья не обещает встроенное случайное распределение, автоматический эксперимент или массовую отправку из кабинета. При выборе процесса уточните, как сохранить назначение клиента в группу, выгрузить завершённые визиты и проверить единый период. Эти данные нужны раньше, чем красивый отчёт с процентом «успеха рассылки».
Сравнить две доли и проверить таблицу критерием Фишера
Таблица 2×2 по уникальным клиентам за одно заранее выбранное окно. В знаменателе все назначенные участники, не только доставка/прочтение. Группы должны быть независимыми и не пересекаться; числовая форма этого не проверяет. Двусторонний Фишер: сумма вероятностей не больше наблюдаемой при фиксированных краевых суммах. Нет причинного вывода по одним числам, интервала, мощности, поправок на несколько тестов, прибыли или отправки сообщений. Расчёт выполняется на вашем устройстве, введённые данные никуда не отправляются.
Источники и проверка
Запустите салон на Homade
14 дней бесплатно, карта не нужна. Перенесём вашу базу из YClients или Altegio.