Published June 3, 2026 | Version v1
Software Open

Dataset e Código-Fonte: Avaliação de LLMs na Análise de Causa Raiz Grey-Box de Gargalos de Desempenho

Authors/Creators

Description

Este repositório contém o conjunto de dados e os códigos-fonte utilizados no experimento controlado de Análise de Causa Raiz (RCA) assistida por Inteligência Artificial. O estudo avalia a capacidade de três Modelos de Linguagem de Grande Escala (GPT-5.5 Instant, Claude Sonnet 4.6 e Gemini 3.5 Flash) em diagnosticar gargalos de desempenho em uma API Node.js/Express sob carga, utilizando uma abordagem de caixa-cinza (Grey-Box).

Os modelos não tiveram acesso ao código-fonte, realizando a inferência exclusivamente através do cruzamento de métricas de rede (geradas pela ferramenta k6) com a telemetria de infraestrutura do servidor (consumo de CPU e Memória Heap). O cenário documentado neste dataset foca no diagnóstico de um gargalo de espera passiva assíncrona (simulando N+1 queries / I/O bloqueante).

Estrutura dos Arquivos:

  • server.js: Aplicação alvo desenvolvida em Node.js (Express), contendo as rotas com as falhas arquiteturais injetadas deliberadamente e o monitor nativo de telemetria de CPU/Heap.

  • teste-carga.js: Script de estresse escrito em JavaScript para execução no motor de injeção de carga k6 (Grafana), configurado para 50 VUs (Usuários Virtuais) e SLA de 500ms.

  • sumario-problema1.json: Saída de dados brutos consolidados gerada pelo k6 (--summary-export), contendo a distribuição estatística de latência (média, p90, p95, min, max).

  • telemetria_servidor.txt: Logs extraídos do servidor durante os 30 segundos do teste de carga, evidenciando o uso de CPU e as oscilações do Garbage Collector na Memória Heap.

  • Relatorios.pdf: Compilado com os relatórios de diagnóstico gerados em sua totalidade pelos modelos avaliados (GPT, Claude e Gemini) em resposta ao prompt estruturado do experimento.

Files

Relatorio-ChatGPT.pdf

Files (112.2 kB)

Name Size Download all
md5:4b5595441d4763d0042c52a4b633184a
3.2 kB Preview Download
md5:d07c7f9bb7c5de17a3129421c92072fd
10.2 kB Preview Download
md5:d96e8ff7cd4af5ba91da350e6cc885d5
87.2 kB Preview Download
md5:1ef44e969691bb008e07dcfce16ca677
11.7 kB Download