Desinformação: AosFatos

1ª ETAPA - proteção e classificação automática

Descrição da arquitetura, tecnologias e passos adotados para a remoção das informações do serviço de fact-checking AosFatos em Python - por meio do processo de Web Scraping (extração de dados da web).

Aos Fatos – lista de verificações e páginas de detalhes de cada verificação. O objetivo foi coletado, para cada verificação/artigos selecionados, os campos: 

a)URL;
b) Título;
c) Dados; 
d) Assunto;
e) Classificação;
f) Tipo (sempre “Checagem”);
g) Autor.

Os dados foram salvos em dois formatos: CSV (UTF-8) e Excel (.xlsx).

2 - escada e guarnição

3 - Arquitetura da Solução 
                url_list_aosfatos.py
                           |
                           v

Script principal do scraping
Etapa 1 - Inicia o Selenium headless Chrome
Etapa 2 - Para a lista de URL (AosFatos):
          { driver.get(url)
          { espera e extrai campos via CSS
          { escreve linha em CSV/Excel
Etapa 3 - Fecha driver, salva arquivos.

4 - Fluxo de Coleta

1 - Listagem: Acesse a listagem de verificações e links de captura.
2 - Página de seleção: Para cada URL, extrai com seleções próprias.
(ex. título, autor, dados, assunto, classificação) e definição do tipo de “Checagem”.

5 - Escrita Incremental de Dados
Para persistência imediata:

a) CSV: abre em anexo e grava cada registro após raspagem.
b) Excel: usa openpyxl.Workbook(), ws.append(row) por item, e salva ao final.
Cabeçalho comum: url, título, dados, assunto, classificação, tipo, autor.

6 Exemplo de pseudocódigo
import csv, time
from selenium import webdriver
# ...
with open('dados.csv','w',encoding='utf-8') as f:
      writer = csv.writer(f)
      writer.writerow([...])
      for url in urls:
           driver.get(url)
           time.sleep(3)
           # extrai campos
           writer.writerow([url, titulo, data, assunto, classificacao, 'Checagem', autor]) driver.quit()

Essa etapa foi feita por Jean Carlo Gengnagel

https://orcid.org/0009-0009-9862-9256

2ª ETAPA – classificação manual

7 Boas Práticas
a) Usar robustas, posicionadas quando possível.
b) Definir timeouts e esperas para evitar travamentos.
c) Execução headless para automação sem UI.
d) Gravação incremental para evitar perda de dados.

A classificação da coluna C foi feita manualmente pela equipe:

Usando a orientação da legenda: 
Desinf. Educação: qualquer abordagem envolvida em educação.
Desinf. Científica: ciência falsa, negacionismo, teoria da conspiração - temas com enfoque na ciência. 
Desinf. Gênero: violência de gênero - desinformação entre mulheres.
Desinf. Saúde: qualquer subtemática de saúde, vacina, medicamentos, tratamentos, procedimentos.
Desinf. Ansiedade Informacional - envolve saúde mental e consumo de conteúdo na web.
Desinf. Ambiental - envolve meio ambiente.
Outros tipos de desinformação.

Essa etapa foi feita pela equipe:

Dilyanne Ferreira Tavares - UFAL
https://orcid.org/0009-0001-7935-4869

Camilla de Moura Gomes - UFAL
https://orcid.org/0009-0004-3614-0184

Erick Bruno Ferreira Santos - UFBA
https://orcid.org/0009-0000-5726-3838

Coordenada pela professora: Juliana Fachin - UFAL
https://orcid.org/0000-0003-0883-642X

3ª ETAPA - manual de reclassificação

Nesta etapa foi feita a reclassificação manual dos dados. Foi verificado todas as classificações e duas classificações foram modificadas

Desinf. Ambiental - envolve meio ambiente.

Desinf. Científica: ciência falsa, negacionismo, teoria da conspiração - temas com enfoque na ciência. 

Desinf. Criminosa ou fraudulenta: envolve temas sobre crime, fraudes e golpes.

Desinf. Educação: qualquer abordagem envolvida em educação.

Desinf. Gênero: violência de gênero - desinformação entre mulheres.

Desinf. Política: com conteúdo sobre política

Desinf. Saúde: qualquer subtemática de saúde, vacina, medicamentos, tratamentos, procedimentos.

Duas categorias originais foram exluídas e outras duas foram inseridas:

Incluídas

 • Desinf. Política: com conteúdo sobre política

 • Desinf. Criminosa ou fraudulenta: envolve temas sobre crime, fraudes e golpes.

Retiradas

 • Desinf. Ansiedade Informacional - envolve saúde mental e consumo de conteúdo na web.

 • Outros tipos de desinformação.

Essa etapa foi feita pela equipe:

Dilyanne Ferreira Tavares - UFAL
https://orcid.org/0009-0001-7935-4869

Camilla de Moura Gomes - UFAL
https://orcid.org/0009-0004-3614-0184

Erick Bruno Ferreira Santos - UFBA
https://orcid.org/0009-0000-5726-3838

Coordenada pela professora: Juliana Fachin - UFAL
https://orcid.org/0000-0003-0883-642X

4ª ETAPA - reclassificação automatizada

O objetivo desta etapa automática foi reclassificar as notícias verificadas, já que não possuem uma categoria especificamente definida. 

 • Carregar dados de notícias de um arquivo Excel;

• identificar as notícias marcadas como “Outros Tipos de desinformação”;

 • Treinar um modelo de classificação usando as notícias já categorizadas;

• Aplicar o modelo treinado para reclassificar as notícias;

 • Gerar um novo arquivo com as classificações atualizadas.

O projeto utiliza as seguintes bibliotecas Python, cada uma com funções específicas:

8 Explicação anterior das Bibliotecas

8.1 Pandas

Biblioteca fundamental para manipulação e análise de dados. Utilizado para:

• Carregar o arquivo Excel com pd.read excel( )

• Filtrar dados válidos e remover valores nulos

• Renomear colunas para padronização 

• Salvar os resultados processados

8.2 Scikit-learn (sklearn)

Biblioteca de Machine Learning que fornece ferramentas para classificação, regressão, clustering e redução de dimensionalidade. No projeto, é usado para:

• TfidfVectorizer: converte texto em vetores numéricos usando TF-IDF (Term Frequency-Inverse Document Frequency)

• LogisticRegression: Algoritmo de classificação que estima probabilidades usando uma função logística

• Pipeline: Encadeia transformações e estimadores em uma sequência

• relatório de classificação: Gera relatório detalhado de notas de classificação

9 Fluxo de Execução do Código 

O código segue um fluxo estruturado de seis etapas principais:

9.1 Carregamento e Limpeza dos Dados

                                      Listagem 1: Carregamento dos dados              

O código carrega o arquivo “cleaned file.xlsx”, remove linhas completamente vazias e padroniza os nomes das colunas.

9.2 Separação dos Dados

                                      Listagem 2: Separação dos dados

Separar os dados em dois grupos: artigos já classificados (para treino) e artigos marcados como “Outros Tipos” (para predição).

9.3 Vetorização do Texto

                                                 Listagem 3: Vetorização TF-IDF

Conversor de títulos de artigos em vetores numéricos usando TF-IDF, limitando a 5000 recursos mais importantes.

9.4 Treinamento do Modelo

                                  Listagem 4: Treinamento do modelo

Treinar um modelo de Regressão Logística usando os artigos já classificados como dados de treino.

9.5 Predição e Reclassificação

                                         Listagem 5: Predição e reclassificação

Aplique o modelo treinado para prever novas categorias para os artigos “Outros Tipos”.

9.6 Salvamento dos Resultados

                                Listagem 6: Salvamento dos resultados

Atualizar o dataframe original com as novas classificações e salvar em “news data reclassificado.xlsx”.

10 Algoritmo TF-IDF

O TF-IDF (Term Frequency-Inverse Document Frequency) é uma técnica estatística que avalia a importância de uma palavra em um documento dentro de uma coleção de documentos. É como calcular:

                                    TF-IDF(t,d) = TF(t,d) ×IDF(t) (1)

Onde:

• TF (Frequência do Termo) : Frequência do termo no documento (1)

• IDF (Inverse Document Frequency) : Inverso da frequência do termo na coleção

• Resultado: Palavras comuns recebem peso baixo, palavras específicas recebem peso alto

11 Regressão Logística

A Regressão Logística é um algoritmo de classificação que usa uma função logística para modelar a probabilidade de uma instância pertencente a uma classe específica. Características:

• Algoritmo supervisionado para classificação

• Produz probabilidades entre 0 e 1

• Eficiente para problemas de classificação multiclasse

• Interpretável e rápido para treinamento

• Adequado para dados textuais vetorizados

A função logística é definida como:

                        P(Y =1|X)   =                             1

                                                ____________________________________ (2)

                                                      1 +e−(β0+β1X1+...+βnXn)

12 Resultados Esperados

Ao executar este código, espere-se que:

• Todos os artigos marcados como “Outros Tipos” serão reclassificados em categorias mais específicas;

• Que o modelo aprenda padrões nos títulos dos artigos para identificar assuntos;

• Um novo arquivo “news data reclassificado.xlsx” seja gerado com as classificações atualizadas;

• A qualidade das classificações depende da quantidade e qualidade dos dados de treino;

• Que o sistema seja capaz de generalizar para novas notícias  com títulos semelhantes.

13 Considerações Técnicas

• Limitação de Features: O código limita a 5000 features mais importantes para evitar overfitting; 

• Iterações Máximas: O modelo usa 200 iterações máximas para convergência;

• Processamento de Texto: Apenas os títulos são usados para classificação;

• Dados de Treino: A qualidade depende da representatividade dos dados já classificados;

• Desempenho: O algoritmo é eficiente para conjuntos de dados de tamanho médio.

14 Vantagens e Limitações

14.1 Vantagens

• Automação de processo manual de trabalhos;

• Escalabilidade para grandes volumes de dados;

• Uso de técnicas modernas de Machine Learning;

• Interpretabilidade do modelo;

• Eficiência computacional.

14.2 Limitações

• Dependência da qualidade dos dados de treino.

• Uso apenas do título (não considera conteúdo completo).

• Possível ver nossos dados de treino.

• Necessidade de retreinamento para novos domínios.

• Limitação a 5000 recursos pode perder informações importantes.

15 SOBRE A CLASSIFICAÇÃO

Este sistema de classificação automática representa uma solução eficiente para o problema de categorização de artigos de notícias. Utilizando técnicas modernas de Machine Learning e processamento de linguagem natural, o código automatiza um processo que seria manualmente trabalhoso e demorado. A combinação de TF-IDF para vetorização de texto e Regressão Logística para classificação oferece um equilíbrio entre performance e interpretabilidade. 

O sistema é adequado para aplicações onde há uma quantidade razoável de dados já classificados, no qual a precisão da classificação é importante para a organização e recuperação de informações. 

Para melhorar ainda mais o sistema, seria recomendável: 

• Incluir o conteúdo completo das notícias checadas,  além dos títulos; 

• Implementar validação cruzada para avaliar a performance; 

• Adicionar pré-processamento de texto mais sofisticado;

• Considerar outros algoritmos de classificação para comparação

• Implementar um sistema de feedback para a melhoria contínua do modelo.

Essa etapa foi feita por Jean Carlo Gengnagel

https://orcid.org/0009-0009-9862-9256

16 CONSIDERAÇÕES SOBRE AS ETAPAS DE CLASSIFICAÇÃO

A classificação deste conjunto de dados foi dada em quatro etapas. 

- A primeira classificação foi feita de forma automatizada, generalizando vários tipos de notícias em uma mesma categoria;

- Na segunda classificação foi feita a revisão manual (por uma equipe de quatro pessoas), item por item, ainda assim, muitos itens estavam na castegoria de outros;

- Na terceira etapa foi feita a revisão das categorias, bem como das notícias que já havíamos classificado, reorganizando os dados;

- A quarta etapa teve o instinto de melhorar ainda mais a classificação das notícias verificadas, uma vez que se tinha as modalidades de classificação definidas em sete categorias:  

Desinf. Ambiental; 

Desinf. Científica;

Desinf. Criminosa ou fraudulenta;

Desinf. Educação;

Desinf. Gênero;

Política de Design;

Desinf. Saúde;

Entendemos que essas ações colaboraram para uma classificação melhor direcionada, conforme as categorias definidas para a aplicação do estudo.