Модель оттока показала ROC-AUC 0,93 на валидации, а после запуска в прод удержание по её рекомендациям не улучшилось, и качество на свежих данных сильно ниже. Какие причины вы будете проверять?

Как подойти

Проверяют, умеет ли кандидат разделить две разные проблемы: деградацию качества модели (утечка, неправильная валидация, skew, дрейф) и отсутствие бизнес-эффекта (предсказание оттока не равно эффекту воздействия, нужны uplift и A/B-тест).