Spark-джоба с джойном двух больших таблиц выполняется часами, и в Spark UI видно, что почти все таски закончились за минуту, а несколько висят очень долго. В чём может быть дело и как это лечить?

Как подойти

Проверяют, узнаёт ли кандидат data skew по характерной картине в Spark UI, понимает ли, почему он возникает при shuffle, и знает ли набор практических способов его лечить, а не просто «добавить ресурсов».