Вы обучили модель предсказания оттока, на валидации ROC AUC 0,97, а после выкатки в прод качество сильно хуже. Какие причины будете проверять?

Как подойти

Проверяют, распознаёт ли кандидат, что слишком высокое качество на валидации — это скорее симптом утечки данных и неправильной схемы валидации, чем успех. И умеет ли он системно разбирать разрыв между офлайн-метрикой и продом: skew, дрейф, способ измерения.