Ежедневный пайплайн загружает данные за вчера в хранилище. Иногда он падает посередине, и после перезапуска в таблице появляются дубли. Как бы вы его переделали?

Как подойти

Проверяют, понимает ли кандидат идемпотентность пайплайнов: перезапуск за тот же период должен давать тот же результат, а не лечиться ретраями и чисткой дублей постфактум. Плюс — знает ли конкретные механизмы: перезапись партиции, MERGE, атомарное переключение, параметризацию даты.