From 21233987f85054cebaf0ffbb98b50fbe4f044014 Mon Sep 17 00:00:00 2001 From: belisards Date: Thu, 11 Jul 2024 15:14:26 -0300 Subject: [PATCH] update aulas --- README.md | 2 +- slides/.Rhistory | 2 - slides/aula_1.Rmd | 153 ++++++++++--------- slides/aula_1.html | 155 ++++++++++--------- slides/aula_2.Rmd | 155 ++++++++++++++----- slides/aula_3.Rmd | 68 ++++----- slides/aula_4.Rmd | 119 --------------- slides/aula_4.html | 359 --------------------------------------------- 8 files changed, 314 insertions(+), 699 deletions(-) delete mode 100644 slides/.Rhistory delete mode 100644 slides/aula_4.Rmd delete mode 100644 slides/aula_4.html diff --git a/README.md b/README.md index 95dc9be..6584a8a 100644 --- a/README.md +++ b/README.md @@ -86,7 +86,7 @@ Os slides de 2021 estão arquivados na pasta 'slides_2021'. ## Em português -⭐ *[Boletim de Dados](escoladedados.org/membresia): newsletter da Escola de Dados, sobre jornalismo de dados e OSINT, em português. +⭐ *Boletim de Dados](escoladedados.org/membresia): newsletter da Escola de Dados, sobre jornalismo de dados e OSINT, em português. [Investigadora](https://investigadora.substack.com/): newsletter da Associação Brasileira de Jornalismo Investigativo sobre o CruzaGrafos. diff --git a/slides/.Rhistory b/slides/.Rhistory deleted file mode 100644 index ceabadc..0000000 --- a/slides/.Rhistory +++ /dev/null @@ -1,2 +0,0 @@ -xaringan:::inf_mr() -load("/home/abitporu/Documents/osint/slides/.RData") diff --git a/slides/aula_1.Rmd b/slides/aula_1.Rmd index 7e58ec1..28d3091 100644 --- a/slides/aula_1.Rmd +++ b/slides/aula_1.Rmd @@ -16,18 +16,16 @@ output: highlightStyle: github highlightLines: true - # countIncrementalSlides: false - #countdown: 60000 --- -# Sobre mim +# Adriano Belisario Jornalista e pesquisador, especializado em investigações baseadas em dados e técnicas de OSINT. Tem mestrado em Social Data Science pela Universidade de Oxford e em Comunicação pela UFRJ. -Atualmente, colabora como [Bellingcat](bellingcat.com) no programa de Technical Writing Fellowship, desenvolvendo um tutorial sobre o uso de modelos de IA aplicados em investigações visuais. Também atua como consultor para o [Joint Data Center on Forced Displacement](https://www.jointdatacenter.org/), uma iniciativa do Banco Mundial com a Agência da ONU para Refugiados, e desenvolve análises de dados sobre misoginia online para o [Netlab/UFRJ](https://netlab.eco.ufrj.br/). +Atualmente, colabora como [Bellingcat](bellingcat.com) no programa 'Technical Writing Fellowship', desenvolvendo um guia sobre o uso de IA aplicada a investigações visuais. Também atua como consultor para o [Joint Data Center on Forced Displacement](https://www.jointdatacenter.org/), uma iniciativa do Banco Mundial com a Agência da ONU para Refugiados, e desenvolve análises de dados sobre misoginia online para o [Netlab/UFRJ](https://netlab.eco.ufrj.br/). Coordenou a Escola de Dados entre 2018 e 2022 e já publicou investigações na Agência Pública, The Intercept Brasil e na agência [Documental.xyz](https://documental.xyz). -Mais informações: [belisario.website](belisario.website) +Mais informações: [belisario.website/osint](https://belisario.website/osint) --- @@ -48,8 +46,8 @@ Todos os slides e mais uma lista de outras referências úteis estão disponíve - Busca em redes sociais - Investigando sites - Investigações visuais + - Terra à vista: imagens de satélites - Geolocalização de imagens - - Imagens de satélite --- @@ -83,9 +81,14 @@ Abaixo alguns dos serviços online e programas que serão utilizados. Nenhum é obrigatório, porém seu uso é recomendado para acompanhar ou replicar alguns atividades. +## Contas +- [Conta no Google](https://gmail.com/) (principalmente para o Google Colab - ou use algum outro serviço de notebook online) - [Conta no Facebook](https://facebook.com/) - [Conta no Instagram](https://instagram.com/) + +## Softwares - [Google Earth Pro](https://www.google.com/intl/pt-BR/earth/about/versions/#earth-pro) +- [Plugin do Chrome: Search by Image](https://chromewebstore.google.com/detail/search-by-image/cnojnbdhbhnkbcieeekonklommdnndci/) --- class: inverse, center, middle @@ -137,21 +140,6 @@ Algumas fontes2, porém, falam de OSINT ativa ou ofensiva. Em geral, - **Solicitações**: requerimentos legais, via Lei de Acesso à Informação, por exemplo, também são considerados. Solicitações feitas a pessoas físicas, por meio de fóruns, chat ou email, podem ou não serem consideradas como fontes abertas, a depender do contexto. ---- - -# Princípios - -- **Objetividade e acurácia**: fique atento a vieses que podem afetar sua investigação. Não só aqueles subjetivos, conscientes ou não, como também aqueles próprios da arquitetura da Internet. Por exemplo, a mesma consulta em um mecanismo de busca pode retornar resultados diferentes, a depender de fatores diversos, como a localidade, dispositivo, histórico do usuário, etc. - --- - -- **Ética e legalidade**: esteja ciente das diretrizes legais de proteção de dados e privacidade. Mesmo que a informação esteja disponíveis ao públicos, isso não quer dizer que não existem considerações legais quanto ao seu armazenamento. Especialmente ao usar processos automatizados, evite coletar mais dados do que o necessário e, se assim o fizer, remova as informações que não são necessárias para sua investigação. - --- - -- **Transparência e prestação de contas (accountability) **: documente todas etapas do seu trabalho, mantendo um registro de suas atividades. Sua metodologia pode ser questionada ou você pode ter que prestar contas em um julgamento oficial. Além disso, ainda que o uso de identidades anônimas seja importante, é preciso evitar a deturpação ou apresentações falsas (*misrepresentation*); - - --- # Novas lentes para sua investigação @@ -181,6 +169,8 @@ As ferramentas são úteis, mas as habilidades mais importantes em OSINT são: - **Olho para detalhes** que individualmente podem ser insignificantes, mas em conjunto podem ganhar sentido. +- **Letramento técnico** ajuda muito. Por exemplo, saber o básico de Python e ferramentas de linha de comando amplia suas possiblidades. + --- # Técnicas utilizadas @@ -199,6 +189,8 @@ A seguir, uma lista não exaustiva de algumas que podem ser consideradas básica - Geolocalização de imagens; ] +-- + .pull-right[ - Uso de imagens de satélites para inspeção visual; @@ -212,7 +204,7 @@ A seguir, uma lista não exaustiva de algumas que podem ser consideradas básica --- -# Técnicas utilizadas +# Outras técnicas utilizadas A lista de técnicas utilizadas em investigações baseadas em fontes abertas pode seguir para incluir metodologias um pouco mais avançadas, como: @@ -226,6 +218,8 @@ A lista de técnicas utilizadas em investigações baseadas em fontes abertas po - Modelos de aprendizagem de máquina (machine learning), como clusterização ] +-- + .pull-right[ - Modelos de visão computacional @@ -236,6 +230,22 @@ A lista de técnicas utilizadas em investigações baseadas em fontes abertas po --- +# Princípios + +- **Objetividade e acurácia**: fique atento a vieses que podem afetar sua investigação. Não só aqueles subjetivos, conscientes ou não, como também aqueles próprios da arquitetura da Internet. Por exemplo, a mesma consulta em um mecanismo de busca pode retornar resultados diferentes, a depender de fatores diversos, como a localidade, dispositivo, histórico do usuário, etc. + +-- + +- **Ética e legalidade**: esteja ciente das diretrizes legais de proteção de dados e privacidade. Mesmo que a informação esteja disponíveis ao públicos, isso não quer dizer que não existem considerações legais quanto ao seu armazenamento. Especialmente ao usar processos automatizados, evite coletar mais dados do que o necessário e, se assim o fizer, remova as informações que não são necessárias para sua investigação. + +-- + +- **Transparência e prestação de contas (accountability) **: documente todas etapas do seu trabalho, mantendo um registro de suas atividades. Sua metodologia pode ser questionada ou você pode ter que prestar contas em um julgamento oficial. Além disso, ainda que o uso de identidades anônimas seja importante, é preciso evitar a deturpação ou apresentações falsas (*misrepresentation*); + + +--- + + # Etapas Em geral, o uso de técnicas de inteligência com fontes abertas envolve um ciclo contínuo de etapas que **se retroalimentam**1. De forma resumida, são elas: @@ -322,9 +332,7 @@ Não altere os arquivos originais e tente manter uma cadeia de custódia dos mat --- -# Coleta de informação: arquivamento - -Tente preservar elementos de atribuição: +# Preserve elementos de atribuição - **URL**: registre o endereço na web onde o recurso está localizado; @@ -334,9 +342,9 @@ Tente preservar elementos de atribuição: - **Arquivos de mídia**: se houver imagens, áudios ou vídeos relevantes, certifique-se que eles também foram armazenados separadamente; -- **Metadados ou dados contextuais**: registre também outras informações relevantes, como metadados (identificador do usário, data e hora de upload, hasthags, comentários, etc) ou informações contextuais (exemplo, perfil de quem fez determinada postagem); +- **Metadados ou dados contextuais**: registre outras informações relevantes, como metadados (id do usário, data e hora de upload, hasthags, comentários, etc) ou informações contextuais (por ex: perfil de quem fez determinada postagem); -Dados da coleta em si (IP, hora, etc) e hash (MD5, SHA1, etc) também podem ser utilizados em certos casos. +Dados da coleta em si (IP, hora, etc) ou hash (MD5, SHA1, etc) também podem ser utilizados em certos casos. .footnote[ [1] Outros requerimentos legais da cadeia de custódia no Brasil estão detalhados no [Código Penal](https://www.jusbrasil.com.br/topicos/250911206/artigo-158a-do-decreto-lei-n-3689-de-03-de-outubro-de-1941). @@ -346,7 +354,9 @@ Dados da coleta em si (IP, hora, etc) e hash (MD5, SHA1, etc) também podem ser # Coleta de informação: arquivamento -Conteúdos online podem ser removidos, faça arquivamentos online e/ou locais das informações importantes. Algumas ferramentas úteis: +Conteúdos online podem ser removidos, faça arquivamentos online e/ou locais das informações importantes. + +Algumas ferramentas úteis: - [Hunch.ly](https://hunch.ly/): plataforma bastante completa para arquivamento. Captura e anota automaticamente tudo que você navega; @@ -358,17 +368,23 @@ Conteúdos online podem ser removidos, faça arquivamentos online e/ou locais da # Análise: documentação é uma arte -Tomar notas e registrar suas descobertas é fundamental para transformar as informações brutas em algo relevante. +Tomar notas e registrar o que você encontra no decorrer de sua investigação é fundamental para transformar as informações brutas em algo relevante. + +Além de planilhas para tabular dados, algumas outras formas de documentar a informações que podem ajudar: + +- Informações textuais: documentos ou blocos de notas estruturados como [Obsidian](https://obsidian.md) ou Notion. -Ferramentas como o [Obsidian](https://obsidian.md) podem ajudar, mas tudo depende de disciplina. +- Mapas: [QGIS](https://qgis.org/) ou Google Maps -Atenção também aos "dados invisíveis" como metadados em imagens ou informações escondidas no código-fonte das páginas web. +- Linhas do tempo: blocos de notas, planilhas ou ferramentas específicas como o [TimelineJS](https://timeline.knightlab.com/) do Knightlab. + +- Análise de redes e grafos: [Gephi](https://gephi.org) para análises baseadas em grandes volumes de dados ou Obsidian para processos mais manuais. --- # Análise: vieses cognitivos -Use seus insights e experiências pessoais, mas tente fazer uma análise objetiva, especialmente para não incorrer em vieses comuns em processos investigativos como: +Use sua intuição e tire proveito de sua experiência pessoal, mas tente fazer uma análise objetiva, especialmente para não incorrer em vieses comuns em processos investigativos como: - **Viés de ancoragem**: a primeira impressão ou informação é a que fica; @@ -389,42 +405,6 @@ class: inverse, center, middle --- -# Repositórios de consulta - -- [Bellingcat toolkit](https://bit.ly/bcattools) - -- [OSINT Framework](https://osintframework.com/) - -- [OSINT Brazuca](https://github.com/osintbrazuca/OSINT-Brazuca) - -- [Awesome OSINT](https://github.com/jivoi/awesome-osint) - -- [OSINT.sh](https://osint.sh) - -- [Mapas mentais de elementos de pesquisa](https://github.com/sinwindie/OSINT) - ---- - -# Programas e plataformas especializadas - -Existem também programas e plataformas dedicados a potencializar investigações de OSINT. - -Abaixo, lista de alguns dos mais conhecidos: - -- [Maltego](https://www.maltego.com/): a mais famosa ferramenta para investigações digitais, com diversos plugins. Baseado em grafos. - -- [Social Links](https://sociallinks.io/): especialmente forte para análise de redes sociais. - -- [Spiderfoot](https://github.com/smicallef/spiderfoot): foco em ciber-segurança e análise de ataques virtuais. - -- [theHarvester](https://github.com/laramies/theHarvester): útil para investigar emails e sites, principalmente. - -- [EffectGroup](https://effectgroup.io/): ótimo para buscar informações pessoais a partir de nomes e email, inclusive com dados de brasileiros. - -Mas há muito, muito mais. Hoje, em julho de 2024, existem mais de 2.300 projetos de código-aberto com a [tag "OSINT" no Github](https://github.com/topics/osint) - fora as plataformas privadas. - ---- - # Intervalo ```{r setup, include=FALSE} @@ -579,7 +559,7 @@ Qual a diferença entre ~~o charme e o funk~~ VPN e o TOR? - [PrivacyBadger](https://privacybadger.org/): plugin da Electronic Frontier Foundation para impedir que sua navegação seja monitorada por anunciantes e outros rastreadores; -- [Duckduckgo](https://duckduckgo.com/): buscador web focado em privacidade; +- [uBlock Origin](https://ublockorigin.com/): bloqueador de anúncios e scripts; - [Security in a box](https://securityinabox.org/en/); @@ -588,6 +568,41 @@ Qual a diferença entre ~~o charme e o funk~~ VPN e o TOR? - [Guia de autodefesa](https://guia.autodefesa.org/); +--- + + +# Repositórios de consulta + +- [Bellingcat toolkit](https://bit.ly/bcattools) + +- [OSINT Framework](https://osintframework.com/) + +- [OSINT Brazuca](https://github.com/osintbrazuca/OSINT-Brazuca) + +- [Awesome OSINT](https://github.com/jivoi/awesome-osint) + +- [OSINT.sh](https://osint.sh) + +--- + +# Programas e plataformas especializadas + +Existem também programas e plataformas dedicados a potencializar investigações de OSINT. + +Abaixo, lista de alguns dos mais conhecidos: + +- [Maltego](https://www.maltego.com/): a mais famosa ferramenta para investigações digitais, com diversos plugins. Baseado em grafos. + +- [Social Links](https://sociallinks.io/): especialmente forte para análise de redes sociais. + +- [Spiderfoot](https://github.com/smicallef/spiderfoot): foco em ciber-segurança e análise de ataques virtuais. + +- [theHarvester](https://github.com/laramies/theHarvester): útil para investigar emails e sites, principalmente. + +- [EffectGroup](https://effectgroup.io/): ótimo para buscar informações pessoais a partir de nomes e email, inclusive com dados de brasileiros. + +Mas há muito, muito mais. Hoje, em julho de 2024, existem mais de 2.300 projetos de código-aberto com a [tag "OSINT" no Github](https://github.com/topics/osint) - fora as plataformas privadas. + --- class: center, middle, inverse diff --git a/slides/aula_1.html b/slides/aula_1.html index 7b36e1d..c202b72 100644 --- a/slides/aula_1.html +++ b/slides/aula_1.html @@ -4,7 +4,7 @@ 🔎 OSINT e fact-checking - + @@ -28,20 +28,20 @@ ### MBA em Jornalismo de Dados/IDP ] .date[ -### 2024-07-10 +### 2024-07-11 ] --- -# Sobre mim +# Adriano Belisario Jornalista e pesquisador, especializado em investigações baseadas em dados e técnicas de OSINT. Tem mestrado em Social Data Science pela Universidade de Oxford e em Comunicação pela UFRJ. -Atualmente, colabora como [Bellingcat](bellingcat.com) no programa de Technical Writing Fellowship, desenvolvendo um tutorial sobre o uso de modelos de IA aplicados em investigações visuais. Também atua como consultor para o [Joint Data Center on Forced Displacement](https://www.jointdatacenter.org/), uma iniciativa do Banco Mundial com a Agência da ONU para Refugiados, e desenvolve análises de dados sobre misoginia online para o [Netlab/UFRJ](https://netlab.eco.ufrj.br/). +Atualmente, colabora como [Bellingcat](bellingcat.com) no programa 'Technical Writing Fellowship', desenvolvendo um guia sobre o uso de IA aplicada a investigações visuais. Também atua como consultor para o [Joint Data Center on Forced Displacement](https://www.jointdatacenter.org/), uma iniciativa do Banco Mundial com a Agência da ONU para Refugiados, e desenvolve análises de dados sobre misoginia online para o [Netlab/UFRJ](https://netlab.eco.ufrj.br/). Coordenou a Escola de Dados entre 2018 e 2022 e já publicou investigações na Agência Pública, The Intercept Brasil e na agência [Documental.xyz](https://documental.xyz). -Mais informações: [belisario.website](belisario.website) +Mais informações: [belisario.website/osint](https://belisario.website/osint) --- @@ -62,8 +62,8 @@ - Busca em redes sociais - Investigando sites - Investigações visuais + - Terra à vista: imagens de satélites - Geolocalização de imagens - - Imagens de satélite --- @@ -97,9 +97,14 @@ Nenhum é obrigatório, porém seu uso é recomendado para acompanhar ou replicar alguns atividades. +## Contas +- [Conta no Google](https://gmail.com/) (principalmente para o Google Colab - ou use algum outro serviço de notebook online) - [Conta no Facebook](https://facebook.com/) - [Conta no Instagram](https://instagram.com/) + +## Softwares - [Google Earth Pro](https://www.google.com/intl/pt-BR/earth/about/versions/#earth-pro) +- [Plugin do Chrome: Search by Image](https://chromewebstore.google.com/detail/search-by-image/cnojnbdhbhnkbcieeekonklommdnndci/) --- class: inverse, center, middle @@ -151,21 +156,6 @@ - **Solicitações**: requerimentos legais, via Lei de Acesso à Informação, por exemplo, também são considerados. Solicitações feitas a pessoas físicas, por meio de fóruns, chat ou email, podem ou não serem consideradas como fontes abertas, a depender do contexto. ---- - -# Princípios - -- **Objetividade e acurácia**: fique atento a vieses que podem afetar sua investigação. Não só aqueles subjetivos, conscientes ou não, como também aqueles próprios da arquitetura da Internet. Por exemplo, a mesma consulta em um mecanismo de busca pode retornar resultados diferentes, a depender de fatores diversos, como a localidade, dispositivo, histórico do usuário, etc. - --- - -- **Ética e legalidade**: esteja ciente das diretrizes legais de proteção de dados e privacidade. Mesmo que a informação esteja disponíveis ao públicos, isso não quer dizer que não existem considerações legais quanto ao seu armazenamento. Especialmente ao usar processos automatizados, evite coletar mais dados do que o necessário e, se assim o fizer, remova as informações que não são necessárias para sua investigação. - --- - -- **Transparência e prestação de contas (accountability) **: documente todas etapas do seu trabalho, mantendo um registro de suas atividades. Sua metodologia pode ser questionada ou você pode ter que prestar contas em um julgamento oficial. Além disso, ainda que o uso de identidades anônimas seja importante, é preciso evitar a deturpação ou apresentações falsas (*misrepresentation*); - - --- # Novas lentes para sua investigação @@ -195,6 +185,8 @@ - **Olho para detalhes** que individualmente podem ser insignificantes, mas em conjunto podem ganhar sentido. +- **Letramento técnico** ajuda muito. Por exemplo, saber o básico de Python e ferramentas de linha de comando amplia suas possiblidades. + --- # Técnicas utilizadas @@ -213,6 +205,8 @@ - Geolocalização de imagens; ] +-- + .pull-right[ - Uso de imagens de satélites para inspeção visual; @@ -226,7 +220,7 @@ --- -# Técnicas utilizadas +# Outras técnicas utilizadas A lista de técnicas utilizadas em investigações baseadas em fontes abertas pode seguir para incluir metodologias um pouco mais avançadas, como: @@ -240,6 +234,8 @@ - Modelos de aprendizagem de máquina (machine learning), como clusterização ] +-- + .pull-right[ - Modelos de visão computacional @@ -250,6 +246,22 @@ --- +# Princípios + +- **Objetividade e acurácia**: fique atento a vieses que podem afetar sua investigação. Não só aqueles subjetivos, conscientes ou não, como também aqueles próprios da arquitetura da Internet. Por exemplo, a mesma consulta em um mecanismo de busca pode retornar resultados diferentes, a depender de fatores diversos, como a localidade, dispositivo, histórico do usuário, etc. + +-- + +- **Ética e legalidade**: esteja ciente das diretrizes legais de proteção de dados e privacidade. Mesmo que a informação esteja disponíveis ao públicos, isso não quer dizer que não existem considerações legais quanto ao seu armazenamento. Especialmente ao usar processos automatizados, evite coletar mais dados do que o necessário e, se assim o fizer, remova as informações que não são necessárias para sua investigação. + +-- + +- **Transparência e prestação de contas (accountability) **: documente todas etapas do seu trabalho, mantendo um registro de suas atividades. Sua metodologia pode ser questionada ou você pode ter que prestar contas em um julgamento oficial. Além disso, ainda que o uso de identidades anônimas seja importante, é preciso evitar a deturpação ou apresentações falsas (*misrepresentation*); + + +--- + + # Etapas Em geral, o uso de técnicas de inteligência com fontes abertas envolve um ciclo contínuo de etapas que **se retroalimentam**<sup>1</sup>. De forma resumida, são elas: @@ -334,9 +346,7 @@ --- -# Coleta de informação: arquivamento - -Tente preservar elementos de atribuição: +# Preserve elementos de atribuição - **URL**: registre o endereço na web onde o recurso está localizado; @@ -346,9 +356,9 @@ - **Arquivos de mídia**: se houver imagens, áudios ou vídeos relevantes, certifique-se que eles também foram armazenados separadamente; -- **Metadados ou dados contextuais**: registre também outras informações relevantes, como metadados (identificador do usário, data e hora de upload, hasthags, comentários, etc) ou informações contextuais (exemplo, perfil de quem fez determinada postagem); +- **Metadados ou dados contextuais**: registre outras informações relevantes, como metadados (id do usário, data e hora de upload, hasthags, comentários, etc) ou informações contextuais (por ex: perfil de quem fez determinada postagem); -Dados da coleta em si (IP, hora, etc) e hash (MD5, SHA1, etc) também podem ser utilizados em certos casos. +Dados da coleta em si (IP, hora, etc) ou hash (MD5, SHA1, etc) também podem ser utilizados em certos casos. .footnote[ [1] Outros requerimentos legais da cadeia de custódia no Brasil estão detalhados no [Código Penal](https://www.jusbrasil.com.br/topicos/250911206/artigo-158a-do-decreto-lei-n-3689-de-03-de-outubro-de-1941). @@ -358,7 +368,9 @@ # Coleta de informação: arquivamento -Conteúdos online podem ser removidos, faça arquivamentos online e/ou locais das informações importantes. Algumas ferramentas úteis: +Conteúdos online podem ser removidos, faça arquivamentos online e/ou locais das informações importantes. + +Algumas ferramentas úteis: - [Hunch.ly](https://hunch.ly/): plataforma bastante completa para arquivamento. Captura e anota automaticamente tudo que você navega; @@ -370,17 +382,23 @@ # Análise: documentação é uma arte -Tomar notas e registrar suas descobertas é fundamental para transformar as informações brutas em algo relevante. +Tomar notas e registrar o que você encontra no decorrer de sua investigação é fundamental para transformar as informações brutas em algo relevante. + +Além de planilhas para tabular dados, algumas outras formas de documentar a informações que podem ajudar: + +- Informações textuais: documentos ou blocos de notas estruturados como [Obsidian](https://obsidian.md) ou Notion. -Ferramentas como o [Obsidian](https://obsidian.md) podem ajudar, mas tudo depende de disciplina. +- Mapas: [QGIS](https://qgis.org/) ou Google Maps -Atenção também aos "dados invisíveis" como metadados em imagens ou informações escondidas no código-fonte das páginas web. +- Linhas do tempo: blocos de notas, planilhas ou ferramentas específicas como o [TimelineJS](https://timeline.knightlab.com/) do Knightlab. + +- Análise de redes e grafos: [Gephi](https://gephi.org) para análises baseadas em grandes volumes de dados ou Obsidian para processos mais manuais. --- # Análise: vieses cognitivos -Use seus insights e experiências pessoais, mas tente fazer uma análise objetiva, especialmente para não incorrer em vieses comuns em processos investigativos como: +Use sua intuição e tire proveito de sua experiência pessoal, mas tente fazer uma análise objetiva, especialmente para não incorrer em vieses comuns em processos investigativos como: - **Viés de ancoragem**: a primeira impressão ou informação é a que fica; @@ -401,42 +419,6 @@ --- -# Repositórios de consulta - -- [Bellingcat toolkit](https://bit.ly/bcattools) - -- [OSINT Framework](https://osintframework.com/) - -- [OSINT Brazuca](https://github.com/osintbrazuca/OSINT-Brazuca) - -- [Awesome OSINT](https://github.com/jivoi/awesome-osint) - -- [OSINT.sh](https://osint.sh) - -- [Mapas mentais de elementos de pesquisa](https://github.com/sinwindie/OSINT) - ---- - -# Programas e plataformas especializadas - -Existem também programas e plataformas dedicados a potencializar investigações de OSINT. - -Abaixo, lista de alguns dos mais conhecidos: - -- [Maltego](https://www.maltego.com/): a mais famosa ferramenta para investigações digitais, com diversos plugins. Baseado em grafos. - -- [Social Links](https://sociallinks.io/): especialmente forte para análise de redes sociais. - -- [Spiderfoot](https://github.com/smicallef/spiderfoot): foco em ciber-segurança e análise de ataques virtuais. - -- [theHarvester](https://github.com/laramies/theHarvester): útil para investigar emails e sites, principalmente. - -- [EffectGroup](https://effectgroup.io/): ótimo para buscar informações pessoais a partir de nomes e email, inclusive com dados de brasileiros. - -Mas há muito, muito mais. Hoje, em julho de 2024, existem mais de 2.300 projetos de código-aberto com a [tag "OSINT" no Github](https://github.com/topics/osint) - fora as plataformas privadas. - ---- - # Intervalo @@ -587,7 +569,7 @@ - [PrivacyBadger](https://privacybadger.org/): plugin da Electronic Frontier Foundation para impedir que sua navegação seja monitorada por anunciantes e outros rastreadores; -- [Duckduckgo](https://duckduckgo.com/): buscador web focado em privacidade; +- [uBlock Origin](https://ublockorigin.com/): bloqueador de anúncios e scripts; - [Security in a box](https://securityinabox.org/en/); @@ -596,6 +578,41 @@ - [Guia de autodefesa](https://guia.autodefesa.org/); +--- + + +# Repositórios de consulta + +- [Bellingcat toolkit](https://bit.ly/bcattools) + +- [OSINT Framework](https://osintframework.com/) + +- [OSINT Brazuca](https://github.com/osintbrazuca/OSINT-Brazuca) + +- [Awesome OSINT](https://github.com/jivoi/awesome-osint) + +- [OSINT.sh](https://osint.sh) + +--- + +# Programas e plataformas especializadas + +Existem também programas e plataformas dedicados a potencializar investigações de OSINT. + +Abaixo, lista de alguns dos mais conhecidos: + +- [Maltego](https://www.maltego.com/): a mais famosa ferramenta para investigações digitais, com diversos plugins. Baseado em grafos. + +- [Social Links](https://sociallinks.io/): especialmente forte para análise de redes sociais. + +- [Spiderfoot](https://github.com/smicallef/spiderfoot): foco em ciber-segurança e análise de ataques virtuais. + +- [theHarvester](https://github.com/laramies/theHarvester): útil para investigar emails e sites, principalmente. + +- [EffectGroup](https://effectgroup.io/): ótimo para buscar informações pessoais a partir de nomes e email, inclusive com dados de brasileiros. + +Mas há muito, muito mais. Hoje, em julho de 2024, existem mais de 2.300 projetos de código-aberto com a [tag "OSINT" no Github](https://github.com/topics/osint) - fora as plataformas privadas. + --- class: center, middle, inverse diff --git a/slides/aula_2.Rmd b/slides/aula_2.Rmd index 9dca962..cfe59d3 100644 --- a/slides/aula_2.Rmd +++ b/slides/aula_2.Rmd @@ -1,5 +1,5 @@ --- -title: "🔎 Dados invisíveis - Open source intelligence" +title: "🔎 OSINT e fact-checking" subtitle: "Busca avançada na web" author: "Adriano Belisario - @belisards" institute: "MBA em Jornalismo de Dados/IDP" @@ -7,76 +7,79 @@ date: "`r Sys.Date()`" output: xaringan::moon_reader: lib_dir: libs + css: ["osint.css", default, metropolis, metropolis-fonts] nature: + slideNumberFormat: | +
+
+
+
highlightStyle: github highlightLines: true - # countIncrementalSlides: false - #countdown: 60000 --- -class: center, middle - -# Apresentações e materiais do curso: - -### [belisards.github.io/osint](https://belisards.github.io/osint/) - -Slides criados com o pacote R [**xaringan**](https://github.com/yihui/xaringan). ---- # O que temos para hoje? -- Buscadores na web -- Busca reversa de imagem -- Busca em redes sociais -- Investigando sites +- Busca avançada na web + - Operadores de busca avançada + - Busca em redes sociais + - Investigando sites --- + # Busca avançada no Google Para uma lista completa dos operadores de busca avançado, confira este [tutorial da Escola de Dados](https://escoladedados.org/tutoriais/operadores-de-busca-avancada/) ou esta [listagem de comandos](http://www.googleguide.com/advanced_operators_reference.html). Considere a busca abaixo: -`botafogo campeão` +`orçamento confidencial` ### O que ela retorna? -- -Páginas com o termo `botafogo` e o termo `campeão`. +Páginas com o termo `orçamento` e o termo `confidencial` em qualquer lugar da página. -É o mesmo que `botafogo AND campeão`. +É o mesmo que `orçamento AND confidencial`. --- -# Operadores de busca + +# Operadores básicos de busca Atenção para os espaços extras. Eles podem arruinar sua busca. - Aspas para expressões exatas ou para forçar a busca por uma palavra tal que ela aparece; +-- + - Sinal de menos para excluir; +-- + - Asterisco representa uma ou mais palavras; -- `Ferramentas > Em qualquer data`: para delimitar um intervalo de tempo; +-- + +- Filtros por data: `before:YYYY-MM-DD` ou `after:YYYY-MM-DD` - ou pela opção `Ferramentas > Em qualquer data`: --- -## Operadores booleanos +# Operadores booleanos -- `AND`: para afunilar os termos de pesquisa. No Google, um espaço em branco equivale a um `AND`; +- `AND`: afunila os resultados. No Google, um espaço em branco equivale a um `AND`; -- `OR` ou barra em pé (`|`) para colocar alternativas de termo; +- `OR`: expande os resultados possíveis, adicionando alternativas de termo; -- Parênteses para isolar o termo; +- Parênteses para isolar expressões; -- -### Pergunta -Qual a diferença entre as duas buscas abaixo: +Qual a diferença entre as duas buscas abaixo? - `botafogo flamengo` -- `botafogo | flamengo` +- `botafogo OR flamengo` --- @@ -86,8 +89,6 @@ Qual a diferença entre as duas buscas abaixo: - `filetype:` restringir a busca a um formato de arquivo; -- `cache:` para pesquisar a versão arquivada de um site; - - `before:` pesquisa antes de uma determinada data (YYYY-MM-DD); - `link:` páginas que possuem link para um endereço; @@ -149,8 +150,6 @@ class: inverse, center, middle - [Carrot2](https://search.carrot2.org/): buscador que organiza os resultados em tópicos e "clusters"; -- [Internet Archive](https://archive.org/web/): o túnel do tempo da web; - - [Wolfram Alpha](wolframalpha.com): um buscador inteligente; - [Whats my name](https://whatsmyname.app/): pesquisa nomes de usuário em diversas plataformas; @@ -158,13 +157,24 @@ class: inverse, center, middle --- -# Twitter +# Saiu do ar? + +- [Web Archive](https://web.archive.org): sua primeira escolha, armazena diversas versões dos sites; -- [Busca avançada](https://twitter.com/search-advanced?lang=pt): o mecanismo nativo da plataforma é decente; +- Operador de busca no Google `cache:` para pesquisar a versão arquivada de um site; + +- [Archive.today](https://archive.today): último recurso; + +--- -- [Tweetdeck](https://tweetdeck.twitter.com/): útil para monitoramento e para buscas geolocalizadas. O [Onemilliontweetmap](https://onemilliontweetmap.com/) permite a visualização em forma de mapa: +# Busca geolocalizada -## Operadores +O [Onemilliontweetmap](https://onemilliontweetmap.com/) permite a visualização em forma de mapa: + +--- +# Twitter + +[Busca avançada](https://twitter.com/search-advanced?lang=pt): o mecanismo nativo da plataforma é decente; Muitos dos operadores de busca vistos no Google funcionam aqui também, além de outros mais: @@ -206,12 +216,81 @@ Muitos dos operadores de busca vistos no Google funcionam aqui também, além de --- -# Busca reversa de imagens +# Investigação de sites: who is? + +Existem vários serviços para consultar informações sobre quem registrou um domínio. Este tipo de consulta é conhecida como "who is". + +- [Who.is](https://who.is): uma das soluções internacionais; + +- [Whois - Registro.Br](https://registro.br/tecnologia/ferramentas/whois/): ótimo para domínios `.br`; + +- [Reverse whois - ViewDNS.info](https://viewdns.info/reversewhois/): busca reversa com nome ou email; + +-- + +## Buscas históricas + +- [Domain Research Suite](https://tools.whoisxmlapi.com) + +- [Whoxy](https://www.whoxy.com/): freemium; + +- [Whoxology](https://whoisology.com/): serviço pago; + + +--- +# Robots.txt + +Arquivo utilizado para indicar para mecanismos de buscas, robôs e raspadores automatizados aquilo que eles **não devem** olhar. + +Exemplo do site da [Câmara federal](): + +``` +User-Agent: * +Disallow: /sileg/prop_lista* +Disallow: /internet/sileg/prop_lista* +Disallow: /sileg/Prop_lista* +Disallow: /internet/sileg/Prop_lista* +Disallow: /*arvore-de-apensados +Disallow: /proposicoesWeb/prop_arvore_tramitacoes +Disallow: /sileg/prop_arvore_tramitacoes +Disallow: /internet/deputado/Dep_Lista* +Disallow: /transparencia/recursos-humanos/remuneracao/* +Disallow: /transparencia/recursos-humanos/contratos-terceirizacao* +Disallow: /transparencia/recursos-humanos/funcionarios* +``` +--- +# Robots.txt + +Você pode usar operadores de busca para pesquisar coisas interessantes em sites oficias, por exemplo: + +`inurl:robots.txt site:jus.br` + +`inurl:robots.txt site:leg.br` + +`inurl:robots.txt site:gov.br` + +--- +# Dados invisíveis + +Metadados -![](pics/aula2/img_busca_reversa.png) -[A comparison of reverse image searching platforms](https://www.domaintools.com/resources/blog/a-brief-comparison-of-reverse-image-searching-platforms) +Código-fonte --- +## Outras ferramentas úteis + +- [Spyse/Subdomain finder](https://spyse.com/tools/subdomain-finder): busca subdomínios; + +- [Visual site mapper](http://visualsitemapper.com/): visualização das páginas de um site em grafo; + +- [Spy On Web](https://spyonweb.com): para pesquisar sites com o mesmo código Adsense, Analytics, etc. Veja um exemplo com o [Jornal A Cidade Online](https://spyonweb.com/www.jornaldacidadeonline.com.br); + +### Monitores de alterações + +- [VisualPing](https://visualping.io/) + +- [FollowThatPage!](https://www.followthatpage.com/) + class: center, middle # Obrigado! \ No newline at end of file diff --git a/slides/aula_3.Rmd b/slides/aula_3.Rmd index 298129c..4ecdca4 100644 --- a/slides/aula_3.Rmd +++ b/slides/aula_3.Rmd @@ -1,39 +1,33 @@ --- -title: "🔎 Dados invisíveis - Open source intelligence" -subtitle: "Imagens de satélite e geolocalização" +title: "🔎 OSINT e fact-checking" +subtitle: "Investigações visuais" author: "Adriano Belisario - @belisards" institute: "MBA em Jornalismo de Dados/IDP" date: "`r Sys.Date()`" output: xaringan::moon_reader: lib_dir: libs + css: ["osint.css", default, metropolis, metropolis-fonts] nature: + slideNumberFormat: | +
+
+
+
highlightStyle: github highlightLines: true - # countIncrementalSlides: false - #countdown: 60000 --- -class: center, middle - -# Apresentações e materiais do curso: - -### [belisards.github.io/osint](https://belisards.github.io/osint/) -Slides criados com o pacote R [**xaringan**](https://github.com/yihui/xaringan). - ---- # O que temos para hoje? -- Imagens de satélites: alternativas pagas e gratuitas; - -- Acessando mapas online e outras ferramentas geo; - -- Recursos e práticas para geolocalizar fotos e vídeos; +- Investigações visuais + - Terra à vista: imagens de satélites + - Geolocalização de imagens --- class: inverse, center, middle -# Imagens de satélite e mapas +# Imagens de satélite --- class: center @@ -70,6 +64,7 @@ class: inverse, center, middle --- + # Nós não vamos pagar nada As principais soluções são: @@ -86,6 +81,7 @@ Porém, você deve encontrar imagens em uma resolução pior do que está acostu .footnote[Fonte: [How to find the latest satellite imagery in 2021](https://www.azavea.com/reports/how-to-find-the-latest-satellite-imagery-in-2021/). ] + --- # Alternativas úteis e gratuitas @@ -103,6 +99,7 @@ Porém, você deve encontrar imagens em uma resolução pior do que está acostu --- + ## Soluções do Google Veja [todas as soluções para dados geográficos](https://www.google.com/intl/pt-BR_br/earth/outreach/tools/) ou confira aqui alguns destaques: @@ -115,43 +112,29 @@ Veja [todas as soluções para dados geográficos](https://www.google.com/intl/p --- -# Recursos para geo/cronolocalização e outras ferramentas úteis - -- [SunCalc.org](https://www.suncalc.org): para calcular a posição do sol e ajudar a localizar imagens no tempo; +# Timelapse -- [TimeAndDate](https://www.timeanddate.com): histórico de previsão do tempo; +Vamos explorar duas opções para criar timelapses. -- [Hugin](http://hugin.sourceforge.net/): para criar panoramas a partir de imagens; +- [Google Earth Pro](https://www.google.com.br/earth/download/gep/agree.html) -- [Mapchecking](https://www.mapchecking.com/): calcula o total de pessoas em uma certa área; +- [SentinelHub EO Browser](https://apps.sentinel-hub.com/eo-browser/): -- [DescaterLab](https://search.descarteslabs.com): "busca reversa" em imagens de satélites; - ---- -class: inverse, center, middle - -# Vamos praticar! --- +# Recursos para geo/cronolocalização e outras ferramentas úteis -# Foto de 17/08/2014. Descubra o horário. - -![](pics/aula3/brasilia.png) - ---- +- [SunCalc.org](https://www.suncalc.org): para calcular a posição do sol e ajudar a localizar imagens no tempo; -# Descobriu? +- [TimeAndDate](https://www.timeanddate.com): histórico de previsão do tempo; -.footnote[Cheque o resultado no [link para a foto original](https://www.flickr.com/photos/fcmont/14783157308). -] +- [Hugin](http://hugin.sourceforge.net/): para criar panoramas a partir de imagens; ---- -# Competição +- [Mapchecking](https://www.mapchecking.com/): calcula o total de pessoas em uma certa área; -Vamos fazer um round no [Geoguessr](https://www.geoguessr.com/). +- [DescaterLab](https://search.descarteslabs.com): "busca reversa" em imagens de satélites; -Depois, compartilhe sua pontuação! --- @@ -166,6 +149,7 @@ Depois, compartilhe sua pontuação! - [Coletâneas de webserviços para o QGIS](https://github.com/belisards/qgis_resources) - [Qgis2threejs](https://github.com/minorua/Qgis2threejs) (exemplo de uso com [Brumadinho](https://smaprs.github.io/BrumadinhoDam/)) + --- # Referências extras diff --git a/slides/aula_4.Rmd b/slides/aula_4.Rmd deleted file mode 100644 index ed57e11..0000000 --- a/slides/aula_4.Rmd +++ /dev/null @@ -1,119 +0,0 @@ ---- -title: "🔎 Dados invisíveis - Open source intelligence" -subtitle: "Investigando sites e noções de segurança digital" -author: "Adriano Belisario - @belisards" -institute: "MBA em Jornalismo de Dados/IDP" -date: "`r Sys.Date()`" -output: - xaringan::moon_reader: - lib_dir: libs - nature: - highlightStyle: github - highlightLines: true - # countIncrementalSlides: false - #countdown: 60000 ---- -class: center, middle - -# Apresentações e materiais do curso: - -### [belisards.github.io/osint](https://belisards.github.io/osint/) - -Slides criados com o pacote R [**xaringan**](https://github.com/yihui/xaringan). - ---- -# O que temos para hoje? -- Investigação de sites -- Noções de segurança digital -- Navegando na web de forma anônima -- Autenticação e senhas - ---- -# Investigação de sites: who is? - -Existem vários serviços para consultar informações sobre quem registrou um domínio. Este tipo de consulta é conhecida como "who is". - -- [Who.is](https://who.is): uma das soluções internacionais; - -- [Whois - Registro.Br](https://registro.br/tecnologia/ferramentas/whois/): ótimo para domínios `.br`; - -- [Reverse whois - ViewDNS.info](https://viewdns.info/reversewhois/): busca reversa com nome ou email; - --- - -## Buscas históricas - -- [Domain Research Suite](https://tools.whoisxmlapi.com) - -- [Whoxy](https://www.whoxy.com/): freemium; - -- [Whoxology](https://whoisology.com/): serviço pago; - - ---- -# Robots.txt - -Arquivo utilizado para indicar para mecanismos de buscas, robôs e raspadores automatizados aquilo que eles **não devem** olhar. - -Exemplo do site da [Câmara federal](): - -``` -User-Agent: * -Disallow: /sileg/prop_lista* -Disallow: /internet/sileg/prop_lista* -Disallow: /sileg/Prop_lista* -Disallow: /internet/sileg/Prop_lista* -Disallow: /*arvore-de-apensados -Disallow: /proposicoesWeb/prop_arvore_tramitacoes -Disallow: /sileg/prop_arvore_tramitacoes -Disallow: /internet/deputado/Dep_Lista* -Disallow: /transparencia/recursos-humanos/remuneracao/* -Disallow: /transparencia/recursos-humanos/contratos-terceirizacao* -Disallow: /transparencia/recursos-humanos/funcionarios* -``` ---- -# Robots.txt - -Você pode usar operadores de busca para pesquisar coisas interessantes em sites oficias, por exemplo: - -`inurl:robots.txt site:jus.br` - -`inurl:robots.txt site:leg.br` - -`inurl:robots.txt site:gov.br` - ---- - -## Outras ferramentas úteis - -- [Spyse/Subdomain finder](https://spyse.com/tools/subdomain-finder): busca subdomínios; - -- [Visual site mapper](http://visualsitemapper.com/): visualização das páginas de um site em grafo; - -- [Spy On Web](https://spyonweb.com): para pesquisar sites com o mesmo código Adsense, Analytics, etc. Veja um exemplo com o [Jornal A Cidade Online](https://spyonweb.com/www.jornaldacidadeonline.com.br); - -### Monitores de alterações - -- [VisualPing](https://visualping.io/) - -- [FollowThatPage!](https://www.followthatpage.com/) - - ---- - -# OSINT: para aprofundar - -Algumas ferramentas mais avançadas para quem quiser ir além. - -- [SpiderFoot](https://spiderfoot.net): um "raspador" de várias fontes de informação para OSINT; - -- [Maltego](https://www.maltego.com/): outro solução "tudo em um", porém *freemium*; - -- [Twint](): busca avançada no Twitter; - - - ---- -class: center, middle - -# Obrigado! \ No newline at end of file diff --git a/slides/aula_4.html b/slides/aula_4.html deleted file mode 100644 index ebc9a18..0000000 --- a/slides/aula_4.html +++ /dev/null @@ -1,359 +0,0 @@ - - - - 🔎 Dados invisíveis - Open source intelligence - - - - - - - - - - - - - - - - - -