Ваша Spark-джоба пишет данные в озеро в Parquet, и со временем запросы к этой таблице становятся всё медленнее, а в папке сотни тысяч маленьких файлов. Почему так вышло и что будете делать?
~4 мин голосом
Как подойти
Проверяют, понимает ли кандидат природу проблемы маленьких файлов в озере данных: откуда они берутся при записи Spark и почему тормозят чтение, — и умеет ли лечить и причину (запись), и последствия (компакция).
Интервьюер задаст этот вопрос и послушает. Думай вслух, проси подсказку, если нужно. Закончил — пауза или «Я ответил», через минуту здесь балл и какие пункты закрыты.