-
Notifications
You must be signed in to change notification settings - Fork 32
Description
В процессе работы периодически возникают проблемы с производительностью сервиса, связанные с обработкой логов. Эти проблемы особенно заметны в моменты, когда в течение короткого интервала времени поступает большой объём логов. Хотя в Nginx иногда фиксируются всплески по числу запросов, за интервал в 5 секунд обычно обрабатывается от 50 до 300 строк лога.
Однако в некоторых случаях сервис не завершается с ошибкой, а просто зависает. При этом в логах видно, что за один раз отправляется большое количество логов в ClickHouse, после чего никаких дальнейших действий от сервиса не происходит.
Конфигурационный файл сервиса имеет следующие параметры:
settings:
interval: 1
log_path: /var/log/nginx/site.com.access.log
seek_from_end: true
Пример лога контейнера:
time="2024-08-08T09:33:38Z" level=info msg="Preparing to save 205 new log entries."
time="2024-08-08T09:33:38Z" level=info msg="Saved 205 new logs."
time="2024-08-08T09:33:43Z" level=info msg="Preparing to save 177 new log entries."
time="2024-08-08T09:33:43Z" level=info msg="Saved 177 new logs."
time="2024-08-08T09:33:48Z" level=info msg="Preparing to save 121 new log entries."
time="2024-08-08T09:33:48Z" level=info msg="Saved 121 new logs."
time="2024-08-08T09:33:53Z" level=info msg="Preparing to save 52378 new log entries."
time="2024-08-08T09:33:53Z" level=info msg="Saved 52378 new logs."
Помогите отследить причину зависания.
Быть может горутила остается в статусе Lock, но мне удалось это отследить в процессе поисков проблемы.