@hirthwork

hirthwork

Меня зовут Пить
hirthwork

Всего лишь бабочка, которой снится, что она программист

Славный отзывчивый парень © https://t.me/point_im/161357

32 я читаю 96 меня читают
5636 постов
47173 комментариев
hirthwork
28 Aug 11:23

Почти неделю «варил» текстовую модель для определения семантической близости текстов. Когда модель сварилась, обнаружил, что два параметра перепутал и модель получилась хуёвая.

Рекомендовано: Kurisumasu
28 Aug 11:33

А сколько сжёг на это процессорного времени! Уууу, разбазариваешь корпоративную собственность!

28 Aug 11:34

Сжёг примерно 1300 cpu-часов

#zmrhk/3 в ответ на /2
28 Aug 11:35

Ну это не очень много. На билды больше уходит, небось.

#zmrhk/4 в ответ на /3
28 Aug 11:38

На сборку пакета без прогона тестов по сравнению с этим уходят вообще копейки. У нас билд-кеш

#zmrhk/5 в ответ на /4
28 Aug 11:39

Кстати, вы используете bazel?
Я тут выкатил на пару проектов, так хорошо получилось, мне аж самому понравилось

#zmrhk/6 в ответ на /5
28 Aug 11:39

У нас своя система сборки. Одна из причин почему не можем перейти на bazel — отсутствие поддержки билд-кеша в той версии bazel, которая распространяется наружу

#zmrhk/7 в ответ на /6
28 Aug 11:40

Это как «отсуствие»? Збс кешируется же

#zmrhk/8 в ответ на /7
28 Aug 11:40

Это у тебя на тачке оно кешируется. А распределённого по облаку кеша, насколько я знаю, там нет.

#zmrhk/9 в ответ на /8
28 Aug 11:41

А, ну да. Оно у меня на билд-сервере кешируется.
Хм. А облачный они не отдали?

#zmrhk/10 в ответ на /9
28 Aug 11:42

Нет, не отдали. «Потому что у вас всё равно нет той инфраструктуры, которая нужна для этого кеша»

#zmrhk/12 в ответ на /10
28 Aug 11:43

Но там всего один сервак можно задать. А нужно шардирование по группе серверов.

#zmrhk/13 в ответ на /11
28 Aug 11:45

Да, действительно. Ну и ладно, ну не очень-то и хотелось, у нас всё равно нет той инфраструктуры, которая нужна для этого кеша.

#zmrhk/14 в ответ на /13
28 Aug 11:47

В любом случае, спасибо за ссылку. Что-то у меня подозрение, что там таки можно накостылить что-то

#zmrhk/15 в ответ на /14
28 Aug 11:47

Навскидку можно сделать шардирование прямо на nginx'овом reverse proxy. Но я не уверен, что он потянет вашу нагрузку. Хотя мою точно потянет.

#zmrhk/16 в ответ на /15
28 Aug 11:51

Я ровно про это и думаю. Повесить L3-балансер над группой nginx, в локейшене вычислять шард по uri, а затем по шарду идти уже на следующий слой nginx'ов, которые и будут хранить кеш

#zmrhk/17 в ответ на /16
28 Aug 11:51

Йеп. Мне кажется, можно даже не слой nginx'ов, а вот этот bazel-remote сразу.

#zmrhk/18 в ответ на /17
28 Aug 12:04

Раскопал историю. В bazel не кеша, а распределённой сборки нет. Там есть воркеры, но я их не понял.

#zmrhk/19 в ответ на /6

Добавить пост

Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
Для форматирования текста используется Markdown.