Ctrl K
Data Engineer · Senior · Дизайн

Спроектируйте систему ежедневных батч-пайплайнов на несколько сотен таблиц с зависимостями между ними. Как вы обеспечите перезапуски, бэкфилы и опоздавшие данные?

~10 мин голосом

Как подойти

Проверяют, умеет ли кандидат строить надёжную батч-платформу, где перезапуск, бэкфил и догрузка опоздавших данных — штатные безопасные операции, а не ручное разгребание. Ключ — идемпотентность через перезапись партиций и параметризацию логической датой.

Встречал этот вопрос на настоящем собесе?
Ответов0
Средний балл—
Сильных—
Тренировали0
Темы
Похожие вопросыНужно доставлять изменения из продовой базы PostgreSQL на несколько терабайт в аналитическое хранилище с задержкой не больше пяти минут. Как вы спроектируете этот пайплайн? SeniorЧем отличается подход ETL от ELT? JuniorСпроектируйте аналитическое хранилище для интернет-магазина средних размеров: данные из продуктовой базы Postgres, CRM и рекламных кабинетов, потребители — BI-дашборды и аналитики. Расскажите, как всё устроите. MiddleЕжедневный пайплайн загружает данные за вчера в хранилище. Иногда он падает посередине, и после перезапуска в таблице появляются дубли. Как бы вы его переделали? Middle

Ответь голосом

Интервьюер задаст этот вопрос и послушает. Думай вслух, проси подсказку, если нужно. Закончил — пауза или «Я ответил», через минуту здесь балл и какие пункты закрыты.

Войти, чтобы ответить

Лучше в наушниках · ~10 мин