Détecter les processus Beam qui prennent beaucoup de mémoire

[thbar]

Voir:

• Reboot régulier du worker (depuis mises à jour techniques) #3435
• Mise en place de logs #3440 (comment)

Les reboots actuels sont liés à des processus Beam plutôt qu'à des conversions via Rambo.

J'ai posé des questions pour détecter ça (et profiter de l'usage excessif pour tester):

• https://elixir-lang.slack.com/archives/C03EPRA3B/p1693907683523949

Thanks @LostKobrakai:

:memsup can track memory usage periodically
:recon (and :recon_alloc) can help with manual checks
memsup is a process which supervises the memory usage for the system and for individual processes
By my understanding it just supports a single threshold, but you can lower the threshold
but you can add a custom alarm handler to further inspect processes (if still alive)

And @michalmuskala:

You can configure process heap limits - default action is to kill the processes that are too big, but you can also just log them

Liens utiles:

• https://www.erlang.org/doc/man/erlang.html#process_flag-2
• etop https://elixirforum.com/t/profiling-memory-usage-in-given-process/20878/10
• Downloading very large file to disk - is it currently possible? edgurgel/httpoison#250
• Streaming URLs hang HTTPoison edgurgel/httpoison#161
• https://elixirforum.com/t/spawn-an-elixir-process-w-heap-memory-limits/44514/7
• https://medium.com/@mentels/a-short-guide-to-refc-binaries-f13f9029f6e2
• https://ferd.github.io/recon/recon.html#bin_leak/1
• https://www.erlang.org/doc/efficiency_guide/binaryhandling.html#id65722

Exemple de code qui est sensé consommer de la mémoire:

Transport.Jobs.ResourceHistoryJob.new(%{
  "resource_id" => 65185, 
  "id" => Ecto.UUID.generate()
}) |> Oban.insert()

Notes

Un téléchargement complet HTTP résulte en un body sous forme de "binary", qui dès une taille assez petite est en fait stocké "hors heap". Par conséquent, on ne peut pas utiliser max_heap_size pour protéger le processus contre cela, ni mesurer la heap directement pour avoir le retour.

Je vais voir si il est possible de malgré tout détecter cela pour avoir un mécanisme un peu astucieux et généralisé qui nous préviendrait, et sinon j'implémenterai juste du streaming (on pourra voir l'usage général mémoire décroitre en moyenne).

[thbar]

Je clôture, pour l'instant on a identifié de "bons morceaux" et on a un suivi logs qui donne au moins une piste.