Spark-джоба обрабатывает большой джойн: почти все задачи стейджа завершаются за минуту, а последние две висят час и иногда падают с OOM. Что происходит и как вы это исправите?
~4 мин голосом
Как подойти
Проверяют, узнаёт ли кандидат по симптомам перекос данных (skew) по ключу джойна, умеет ли подтвердить его фактами, а не догадками, и знает ли набор приёмов исправления с их ценой: от фильтрации мусорных ключей до AQE, broadcast и salting.
Интервьюер задаст этот вопрос и послушает. Думай вслух, проси подсказку, если нужно. Закончил — пауза или «Я ответил», через минуту здесь балл и какие пункты закрыты.