При помощи find, sort, shuf, xargs и curl организовал процесс выкачки 200 миллионов документов через сервер, который в среднем отвечает за 2 секунды.
К выходным должно сойтись. Умеет возобновлять процесс после остановки, не выкачивая уже обработанные документы.