Dataset e Código-Fonte: Avaliação de LLMs na Análise de Causa Raiz Grey-Box de Gargalos de Desempenho
Authors/Creators
Description
Este repositório contém o conjunto de dados e os códigos-fonte utilizados no experimento controlado de Análise de Causa Raiz (RCA) assistida por Inteligência Artificial. O estudo avalia a capacidade de três Modelos de Linguagem de Grande Escala (GPT-5.5 Instant, Claude Sonnet 4.6 e Gemini 3.5 Flash) em diagnosticar gargalos de desempenho em uma API Node.js/Express sob carga, utilizando uma abordagem de caixa-cinza (Grey-Box).
Os modelos não tiveram acesso ao código-fonte, realizando a inferência exclusivamente através do cruzamento de métricas de rede (geradas pela ferramenta k6) com a telemetria de infraestrutura do servidor (consumo de CPU e Memória Heap). O cenário documentado neste dataset foca no diagnóstico de um gargalo de espera passiva assíncrona (simulando N+1 queries / I/O bloqueante).
Estrutura dos Arquivos:
-
server.js: Aplicação alvo desenvolvida em Node.js (Express), contendo as rotas com as falhas arquiteturais injetadas deliberadamente e o monitor nativo de telemetria de CPU/Heap. -
teste-carga.js: Script de estresse escrito em JavaScript para execução no motor de injeção de carga k6 (Grafana), configurado para 50 VUs (Usuários Virtuais) e SLA de 500ms. -
sumario-problema1.json: Saída de dados brutos consolidados gerada pelo k6 (--summary-export), contendo a distribuição estatística de latência (média, p90, p95, min, max). -
telemetria_servidor.txt: Logs extraídos do servidor durante os 30 segundos do teste de carga, evidenciando o uso de CPU e as oscilações do Garbage Collector na Memória Heap. -
Relatorios.pdf: Compilado com os relatórios de diagnóstico gerados em sua totalidade pelos modelos avaliados (GPT, Claude e Gemini) em resposta ao prompt estruturado do experimento.