Автоматический мониторинг нод и их отключение для предотвращения перегрузки

[biodranik]

Раньше у нас был механизм защиты, который срабатывал при перегрузке ноды множеством качающих юзеров, и отключал ноду от метасервера. Это спасало от единиц в сторах "у меня слишком долго качались ваши карты, я не дождался".

Сейчас такого механизма нет, и его очень хотелось бы сделать, особенно с учётом планируемых более частых и автоматических обновлений данных.

Этот же механизм использовался для экстренного подключения и отключения тогда, когда не нужно (с нотификацией, естественно) платного CDN, если вдруг все наши ноды были бы перегружены, чтобы юзеры оставались довольными.

Самый простой способ на каждой ноде запускать хотя бы 2-3 раза в минуту скрипт, который бы сохранял в /statz.json:

1. Текущую загрузку ноды (только надо придумать, как автоматом определять правильный интерфейс, чтобы не передавать его руками, и определиться, где будем хранить максимальную пропускную способность ноды, чтобы вовремя её отрубать), например, так:

#!/bin/sh

[ "$#" -eq 1 ] || { printf 'usage: %s interface\n' "$0" >&2; exit 1; }

getstats () {
   grep "$1": /proc/net/dev
}

{ getstats "$1"; sleep 1; getstats "$1"; } \
| awk '{rcv=$2-rcv; trnsmt=$10-trnsmt} END {print rcv" "trnsmt}'

2. Активное количество подключений netstat -na | grep ":443 *ESTABLISHED" | wc -l
3. Свободное место на диске.
4. CPU загрузку (надо как-то учитывать все ядра, чтобы можно было понять, что упёрлись в потолок)

Дальше метасервер сможет спокойно дёргать https://node/statz и решать, какие ноды надо срочно отключить, а какие наоборот, подключить для раздачи. И заодно слать нам мониторинг события, куда угодно.