Ctrl K
Data Engineer · Senior · Дизайн

Нужно доставлять изменения из продовой базы PostgreSQL на несколько терабайт в аналитическое хранилище с задержкой не больше пяти минут. Как вы спроектируете этот пайплайн?

~10 мин голосом

Как подойти

Проверяют, умеет ли кандидат построить надёжный CDC-пайплайн. Важно, чтобы он понимал всю цепочку: от журнала транзакций до идемпотентного merge в хранилище. И чтобы видел операционные риски для продовой базы: снапшот, порядок событий, гарантии доставки, рост WAL.

Встречал этот вопрос на настоящем собесе?
Ответов0
Средний балл—
Сильных—
Тренировали0
Темы
Похожие вопросыСпроектируйте систему ежедневных батч-пайплайнов на несколько сотен таблиц с зависимостями между ними. Как вы обеспечите перезапуски, бэкфилы и опоздавшие данные? SeniorЧем отличается подход ETL от ELT? JuniorСпроектируйте аналитическое хранилище для интернет-магазина средних размеров: данные из продуктовой базы Postgres, CRM и рекламных кабинетов, потребители — BI-дашборды и аналитики. Расскажите, как всё устроите. MiddleЕжедневный пайплайн загружает данные за вчера в хранилище. Иногда он падает посередине, и после перезапуска в таблице появляются дубли. Как бы вы его переделали? Middle

Ответь голосом

Интервьюер задаст этот вопрос и послушает. Думай вслух, проси подсказку, если нужно. Закончил — пауза или «Я ответил», через минуту здесь балл и какие пункты закрыты.

Войти, чтобы ответить

Лучше в наушниках · ~10 мин