Ctrl K
Python · Middle · Теория

Нужно обработать лог-файл на двадцать гигабайт: отфильтровать строки и посчитать агрегаты по ним. Как вы это напишете на Python?

~4 мин голосом

Как подойти

Проверяют, понимает ли кандидат потоковую обработку данных в Python: ленивость итераторов и генераторов, почему память не должна зависеть от размера файла, и умеет ли он агрегировать на лету, а при нужде — распараллелить.

Встречал этот вопрос на настоящем собесе?
Ответов0
Средний балл—
Сильных—
Тренировали0
Темы
Похожие вопросыЕсть лог-файл на десятки гигабайт, в каждой строке через пробел время, метод, путь, статус и время ответа в миллисекундах. Напишите функцию top_error_paths, которая принимает путь к файлу и число k и возвращает k путей с наибольшим числом ответов 5xx, а также сколько битых строк было пропущено. SeniorЧем итерируемый объект отличается от итератора? Как цикл for работает под капотом? JuniorЧто такое генераторы в Python и чем они отличаются от обычных функций? В каких случаях вы бы их использовали? JuniorЧем генератор отличается от обычного итератора и что на самом деле происходит при yield? Расскажите про send и yield from — где вы это применяли? Senior

Ответь голосом

Интервьюер задаст этот вопрос и послушает. Думай вслух, проси подсказку, если нужно. Закончил — пауза или «Я ответил», через минуту здесь балл и какие пункты закрыты.

Войти, чтобы ответить

Лучше в наушниках · ~4 мин