Ctrl K
Data Engineer · Junior · Теория

Расскажите, что такое Apache Spark и как он обрабатывает данные.

~4 мин голосом

Как подойти

Проверяют, понимает ли кандидат базовую модель Spark: распределённая обработка на кластере через партиции, разница между трансформациями и действиями, ленивые вычисления и почему Spark быстрее MapReduce. Нужна не история продукта, а понимание, что происходит с данными, когда вы пишете код.

Встречал этот вопрос на настоящем собесе?
Ответов0
Средний балл—
Сильных—
Тренировали0
Темы
Похожие вопросыSpark-джоба обрабатывает большой джойн: почти все задачи стейджа завершаются за минуту, а последние две висят час и иногда падают с OOM. Что происходит и как вы это исправите? SeniorВаша Spark-джоба пишет данные в озеро в Parquet, и со временем запросы к этой таблице становятся всё медленнее, а в папке сотни тысяч маленьких файлов. Почему так вышло и что будете делать? MiddleSpark-джоба с джойном двух больших таблиц выполняется часами, и в Spark UI видно, что почти все таски закончились за минуту, а несколько висят очень долго. В чём может быть дело и как это лечить? MiddleРасскажите, как Spark выполняет запрос от вызова action до результата: что такое стейджи, шафл и ленивые вычисления, и где обычно теряется производительность? Senior

Ответь голосом

Интервьюер задаст этот вопрос и послушает. Думай вслух, проси подсказку, если нужно. Закончил — пауза или «Я ответил», через минуту здесь балл и какие пункты закрыты.

Войти, чтобы ответить

Лучше в наушниках · ~4 мин