Продакт смотрит на результаты A/B-теста каждый день и останавливает тест, как только p-value становится меньше 0,05. Что в этом не так и как бы вы это исправили?

Как подойти

Проверяют, понимает ли кандидат проблему peeking: многократные проверки с остановкой на первой значимости ломают контроль ошибки первого рода. Второе, что смотрят: умеет ли он предложить рабочую альтернативу — фиксированный дизайн или последовательные методы, понимая их цену и организационную сторону.