Библиотека вопросов
Вопросы с настоящих собесов. Любой можно отработать голосом за пару минут — с интервьюером, баллом и разбором.
Как бы вы спланировали A/B-тест новой кнопки оформления заказа в интернет-магазине?JuniorКакие ошибки чаще всего допускают при проведении A/B-тестов?JuniorВ A/B-тесте вы сравниваете десять метрик и пять сегментов, и в одном сегменте одна метрика значимо выросла. Продакт хочет катить фичу на этот сегмент. Как к этому отнесётесь?MiddleВы планируете A/B-тест нового онбординга, базовая конверсия десять процентов. Как определите, сколько пользователей нужно и сколько тест должен идти?MiddleКомпания запускает десятки A/B-тестов одновременно, и аналитики считают результаты вручную в ноутбуках. Спроектируйте data-часть платформы экспериментов, которая автоматически считает результаты.MiddleВ эксперименте вы рандомизируете пользователей, а целевая метрика — CTR, то есть клики, делённые на показы. Как правильно посчитать дисперсию и проверить значимость?SeniorВаши A/B-тесты идут по четыре недели, а бизнес хочет получать решения быстрее, не теряя чувствительности. Какие методы вы бы применили?SeniorПродакт смотрит на результаты A/B-теста каждый день и останавливает тест, как только p-value становится меньше 0,05. Что в этом не так и как бы вы это исправили?SeniorСпроектируйте внутреннюю платформу A/B-тестирования для продукта с десятью миллионами пользователей и сотней одновременных экспериментов. Из каких компонентов она будет состоять?Senior