@hirthwork

hirthwork

Меня зовут Пить
hirthwork

Всего лишь бабочка, которой снится, что она программист

Славный отзывчивый парень © https://t.me/point_im/161357

32 я читаю 96 меня читают
5636 постов
47173 комментариев
hirthwork
20 Aug 09:50

При помощи find, sort, shuf, xargs и curl организовал процесс выкачки 200 миллионов документов через сервер, который в среднем отвечает за 2 секунды.
К выходным должно сойтись. Умеет возобновлять процесс после остановки, не выкачивая уже обработанные документы.

Рекомендовано: EffToyz
20 Aug 10:09

Там некуда rsync воткнуть. Я посылаю запрос, а сервер ищет документ, обрабатывает его и отдаёт мне json-выжимку

#zlhzh/2 в ответ на /1
20 Aug 10:10

Ну я иронично. Понятно что если бы можно было рсиньк, то ты бы не стал так изощряться.

#zlhzh/3 в ответ на /2
21 Aug 11:48

У него какая-то хуйня с аутпутом, кажется была, когда я последний раз пробовал. Что-то у меня с ним не срослось

#zlhzh/5 в ответ на /4

Добавить пост

Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
Для форматирования текста используется Markdown.