Библиотека вопросов
Вопросы с настоящих собесов. Любой можно отработать голосом за пару минут — с интервьюером, баллом и разбором.
Расскажите, что такое Apache Spark и как он обрабатывает данные.JuniorSpark-джоба с джойном двух больших таблиц выполняется часами, и в Spark UI видно, что почти все таски закончились за минуту, а несколько висят очень долго. В чём может быть дело и как это лечить?MiddleВаша Spark-джоба пишет данные в озеро в Parquet, и со временем запросы к этой таблице становятся всё медленнее, а в папке сотни тысяч маленьких файлов. Почему так вышло и что будете делать?MiddleSpark-джоба обрабатывает большой джойн: почти все задачи стейджа завершаются за минуту, а последние две висят час и иногда падают с OOM. Что происходит и как вы это исправите?SeniorРасскажите, как Spark выполняет запрос от вызова action до результата: что такое стейджи, шафл и ленивые вычисления, и где обычно теряется производительность?Senior