Ctrl K
Аналитик данных · Junior · Теория

Какие ошибки чаще всего допускают при проведении A/B-тестов?

~4 мин голосом

Как подойти

Проверяют, понимает ли кандидат статистические ловушки A/B-тестов — в первую очередь подглядывание, недостаточную мощность и множественные сравнения — и знает ли, как их предотвратить дизайном эксперимента, а не «на глаз».

Встречал этот вопрос на настоящем собесе?
Ответов0
Средний балл—
Сильных—
Тренировали0
Темы
Похожие вопросыКомпания запускает десятки A/B-тестов одновременно, и аналитики считают результаты вручную в ноутбуках. Спроектируйте data-часть платформы экспериментов, которая автоматически считает результаты. MiddleКак бы вы спланировали A/B-тест новой кнопки оформления заказа в интернет-магазине? JuniorВы планируете A/B-тест нового онбординга, базовая конверсия десять процентов. Как определите, сколько пользователей нужно и сколько тест должен идти? MiddleПродакт смотрит на результаты A/B-теста каждый день и останавливает тест, как только p-value становится меньше 0,05. Что в этом не так и как бы вы это исправили? SeniorСпроектируйте внутреннюю платформу A/B-тестирования для продукта с десятью миллионами пользователей и сотней одновременных экспериментов. Из каких компонентов она будет состоять? Senior

Ответь голосом

Интервьюер задаст этот вопрос и послушает. Думай вслух, проси подсказку, если нужно. Закончил — пауза или «Я ответил», через минуту здесь балл и какие пункты закрыты.

Войти, чтобы ответить

Лучше в наушниках · ~4 мин