Em português

Durante a fase de coleta do censo, algumas pessoas voluntárias relataram que os portais de diários oficiais estavam fora do ar. A confiabilidade do serviço é uma dimiensão importante a se tomar em conta ao avaliar se um dado está acessível para os cidadãos.

O projeto Colaboradados já faz um acompanhamento similar com a ferramenta Colaborabot, embora essa seja atualmente direcionada a portais de transparência. Uma solução simples seria abrir um pull request no projeto e adicionar todos os portais mapeados no Censo à lista de portais deles.

Porém, a solução deles é bastante simplista tecnologicamente, e não escalaria bem para um número maior de requisições - de modo que pudéssemos gerar uma métrica de tempo de serviço (% do tempo que o portal fica online), por exemplo. Para isso, precisaríamos de uma ferramenta que também:

• Faça requisições do tipo HEAD (cabeçalhos) a todos os portais (ao invés de requsições GET que também solicitam o corpo inteiro da página, como o Colaborabot faz)
• Consiga lidar com requisições assíncronas, tornando o processamento mais rápido (por exemplo, usando o pacote HTTPX)
• Possa ser implementado na nuvem - por exemplo, no AWS Lambda ou no Azure Functions etc. -, de modo que as requisições sejam feitas periodicamente, sem intervenção humana e até fora do horário comercial
• Salve os dados em um armazenamento mais confiável (idealmente, um banco de dados propriamente dito; mas também poderia ser um conjunto de dados no Kaggle, por meio da API deles e do limite de 100GB para conjuntos de dados públicos, por exemplo)

Nenhum desses deveria tomar muito tempo para ser desenvolvido. Mas, ainda assim, não está claro se essa deveria ser uma prioridade. Afinal, poderíamos pelo menos obter uma métrica menos robusta (dias fora de serviço) usando apenas a infraestrutura já existente do Colaborabot. O que acham?

In english

During the data collection phase of the Census, some of the vonlunteers have reported downtimes in the official gazettes portals. Service reliability is an important dimension to take into account when evaluating if some data is available to the citiziens.

The Colaboradados project already does a similar monitoring with the Colaborabot tool, even though it is currently dedicated to transparency portals. A simple solution would be simply to open a pull request and add all portals mapped in the Census to their portal list.

However, their solution is technically quite naïve, and should not escalate well for more requests - so that we could get a time of service metric (in % of the total time), for example. For that, we would need a tool that also:

• Makes HEAD requests to all the portals (instead of full GET requests, as Colaborabot does)
• Can handle asynchronous requests, to make them faster (for example, using the HTTPX package)
• Can be deployed to the cloud - for example, using AWS Lambda, Azure Functions and so on -, so that requests can be made periodically with no human intervention and outside business hours
• Saves the data to a more reliable storage (ideally, a proper database; but could also be a dataset in Kaggle through their API and 100GB free tier for public datasets, for example)

None of these should take too much time to develop. But, still, it is not clear whether this should be a priority. After all, we could at least get a less robust reliability metric (days out of service) using only Colaborabot's existing infrastructure. What do you think?