Расскажите, как Spark выполняет запрос от вызова action до результата: что такое стейджи, шафл и ленивые вычисления, и где обычно теряется производительность?

Как подойти

Проверяют, понимает ли кандидат реальную модель исполнения Spark: ленивое построение плана, оптимизацию Catalyst, деление DAG на стейджи по шафлам, связь задач и партиций. Плюс умеет ли он по этой модели объяснить, откуда берутся тормоза, а не просто «добавить памяти».