Ctrl K
Аналитик данных · Senior · Дизайн

Спроектируйте внутреннюю платформу A/B-тестирования для продукта с десятью миллионами пользователей и сотней одновременных экспериментов. Из каких компонентов она будет состоять?

~10 мин голосом

Как подойти

Проверяют, понимает ли кандидат A/B-платформу как систему, которой можно доверять: детерминированное назначение, изоляция сотни параллельных экспериментов, корректная статистика и автоматическая защита от сломанных данных (SRM, A/A) и от вреда продукту (guardrails).

Встречал этот вопрос на настоящем собесе?
Ответов0
Средний балл—
Сильных—
Тренировали0
Темы
Похожие вопросыКомпания запускает десятки A/B-тестов одновременно, и аналитики считают результаты вручную в ноутбуках. Спроектируйте data-часть платформы экспериментов, которая автоматически считает результаты. MiddleКакие ошибки чаще всего допускают при проведении A/B-тестов? JuniorКак бы вы спланировали A/B-тест новой кнопки оформления заказа в интернет-магазине? JuniorВы планируете A/B-тест нового онбординга, базовая конверсия десять процентов. Как определите, сколько пользователей нужно и сколько тест должен идти? MiddleПродакт смотрит на результаты A/B-теста каждый день и останавливает тест, как только p-value становится меньше 0,05. Что в этом не так и как бы вы это исправили? Senior

Ответь голосом

Интервьюер задаст этот вопрос и послушает. Думай вслух, проси подсказку, если нужно. Закончил — пауза или «Я ответил», через минуту здесь балл и какие пункты закрыты.

Войти, чтобы ответить

Лучше в наушниках · ~10 мин