Нужно ежедневно обрабатывать на Python выгрузку CSV объёмом около 100 гигабайт: очистить, агрегировать и загрузить в базу. Есть машина на 16 ядер и 32 гигабайта памяти. Как спроектируете обработку?

Как подойти

Проверяют, умеет ли кандидат обрабатывать данные больше памяти: потоково, параллельно в обход GIL, с дешёвой передачей работы между процессами, быстрой и безопасной загрузкой в базу и с возможностью перезапуска после сбоя.