Бесплатно, нужен вход через Google. Готовый тест не тратит часовой лимит.
О чём лекция
A/B-тест рассматривается на примере сравнения долей: контрольная группа получает старый вариант продукта, тестовая — новый. Для проверки эффекта формулируют нулевую гипотезу об отсутствии изменений и альтернативу, например о росте доли положительных откликов. Решение принимают с помощью статистического критерия. Ошибка первого рода возникает при ошибочном отклонении нулевой гипотезы и контролируется уровнем значимости α; ошибка второго рода — при непринятии эффекта, который существует, и обозначается β. На примере проверки гипотезы о «честной» монетке показано, что мощность критерия равна 1 − β, а состоятельный критерий снижает β при росте объёма выборки.
Для долей используется асимптотический z-критерий, основанный на центральной предельной теореме: разность оценок долей нормальна при больших независимых выборках и конечной дисперсии. Обсуждаются односторонние и двусторонние альтернативы, критическая область и p-value как вероятность получить наблюдаемое или ещё более экстремальное значение при верной нулевой гипотезе. Затем разбирается планирование эксперимента: нужно заранее задать α, β и минимальный обнаруживаемый эффект (MDE), выбрать соотношение размеров групп и рассчитать необходимое число наблюдений. При малых эффектах выборка может стать настолько большой, что тест окажется практически невыполнимым; тогда используют более чувствительные метрики или специальные методы ускорения. Лекция также предупреждает о влиянии сезонности, редких событий и ошибочном сравнении отдельных доверительных интервалов вместо тестирования разности.
Ключевые идеи
A/B-тест сравнивает контрольную и тестовую группы, чтобы определить, вызвало ли изменение продукта статистически значимый эффект.
Ошибки первого и второго рода соответствуют двум видам неверных решений относительно нулевой гипотезы и обозначаются α и β.
Стандартная процедура теста включает выбор уровня значимости и размера выборки, сбор данных и сравнение наблюдаемой статистики с критическим значением.
Для сравнения долей нужны независимые наблюдения, конечная дисперсия и достаточно большие выборки, чтобы применить центральную предельную теорему.
Разность оценок долей стандартизируют в z-критерий, который при верной нулевой гипотезе асимптотически имеет стандартное нормальное распределение.
p-value показывает, насколько экстремальным является наблюдаемый результат при условии верности нулевой гипотезы; его сравнивают с α.
MDE — минимальный эффект, который имеет практическое значение и должен быть обнаружен тестом с заданными вероятностями ошибок.
Необходимый размер выборки определяется уровнем значимости, β, MDE и распределением данных; уменьшение допустимых ошибок или эффекта требует больше наблюдений.
Примеры вопросов
В A/B-эксперименте сравнивают долю пользователей, совершивших целевое действие: в группе B используется новая версия, в группе A — текущая. Обозначим разность долей как \(p_B-p_A\). Если проверяют предположение, что новая версия повышает конверсию, какая пара гипотез сформулирована корректно?
A\(H_0: p_B-p_A>0\), \(H_1: p_B-p_A=0\)
B\(H_0: p_B-p_A\ne0\), \(H_1: p_B-p_A=0\)
C\(H_0: p_B-p_A=0\), \(H_1: p_B-p_A>0\)
D\(H_0: p_B-p_A=0\), \(H_1: p_B-p_A<0\)
Показать ответ
Верный ответ: C. Поскольку проверяется улучшение новой версии, альтернативная гипотеза должна указывать положительное значение разности. Нулевая гипотеза фиксирует отсутствие различий.
В A/B-эксперименте нулевая гипотеза утверждает, что новая версия страницы не меняет конверсию по сравнению с контрольной. Исследователь отверг нулевую гипотезу и объявил новую версию эффективной, хотя на самом деле различия в конверсии нет. Какую ошибку совершили?
AОшибку второго рода: не отвергли ложную нулевую гипотезу
BОшибку измерения: перепутали конверсию с числом пользователей
CОшибку первого рода: отвергли истинную нулевую гипотезу
DОшибку выборки: использовали независимые группы
Показать ответ
Верный ответ: C. Ошибка первого рода возникает, когда истинную нулевую гипотезу ошибочно отвергают и принимают отсутствие эффекта за наличие эффекта.