Как бы вы спроектировали поискового робота, который обходит интернет и скачивает страницы для индекса поисковой системы? Интересуют компоненты, планирование обхода и масштабирование.

Как подойти

Проверяют, умеет ли кандидат превратить простой цикл «скачал — достал ссылки — положил в очередь» в систему, которая работает на миллиардах страниц. Важно, чтобы она была вежливой к сайтам, не качала одно и то же дважды, вовремя обновляла данные и не застревала в ловушках.