Published October 7, 2024 | Version v2

Code on Demand: A Comparative Analysis of the Efficiency, Understandability, and Self-Correction Capability of Copilot, ChatGPT, and Gemini - Data resulting from the study

  • 1. ROR icon Universidade Federal do Piauí

Description

Este conjunto de dados foi gerado como parte do estudo "Code on Demand: A Comparative Analysis of the Efficiency, Understandability, and Self-Correction Capability of Copilot, ChatGPT, and Gemini - Data resulting from the study". O estudo focou na avaliação do desempenho das ferramentas Copilot, ChatGPT e Gemini, utilizando problemas do LeetCode em quatro linguagens de programação: Python, Java, JavaScript e C.

O conjunto de dados atualizado está organizado nas seguintes pastas:

  1. c_programs: Esta pasta contém os scripts Python utilizados para calcular a complexidade ciclomática e a complexidade cognitiva do código C gerado pelas ferramentas.

    • calculate_cyclomatic_complexity.py: Script para calcular a complexidade ciclomática.
    • calculate_cognitive_complexity.py: Script para calcular a complexidade cognitiva.
  2. codes_suggested_by_the_tools: Esta pasta contém as sugestões de código geradas pelo Copilot, ChatGPT e Gemini para cada problema do LeetCode.

    • Subpastas: ChatGPT, Copilot, Gemini, cada uma contendo as sugestões de código correspondentes nos formatos das linguagens.
  3. complexity_of_codes: Esta pasta contém dois arquivos CSV que fornecem os resultados da análise de complexidade para o código gerado.

    • AI analysis results table - Cognitive.csv: Resultados da complexidade cognitiva do código gerado.
    • AI analysis results table - Cyclomatic.csv: Resultados da complexidade ciclomática do código gerado.

Este conjunto de dados atualizado oferece insights valiosos sobre o desempenho das ferramentas de geração de código com IA e pode ser utilizado para análises futuras ou estudos de replicação.

Files

tool_data.zip

Files (666.5 kB)

Name Size
md5:8b3822f913764d26709e9ef248d858c5
666.5 kB Preview Download