AVALIAÇÃO DE FERRAMENTAS PARA APOIO AO PROCESSO DE SNOWBALLING EM REVISÕES SISTEMÁTICAS

3. EMBASAMENTO TEÓRICO E REVISÃO DE LITERATURA
Neste capítulo abordaremos sobre a Revisão Cinzenta de Literatura, Seção 3 descrevemos o protocolo a ser usado para revisão da literatura. Já na Seção 3.1.4 apresentamos os resultados retornados das buscas nas bases científicas. A Seção 3.2
apresenta uma análise detalhada dos estudos encontrados a partir da revisão.

3.1. PROTOCOLO
A opção por conduzir uma Revisão Cinzenta de Literatura, em vez de uma Revisão Sistemática de Literatura (RSL) tradicional, fundamenta-se na natureza específica
do objeto de investigação deste trabalho. O objetivo central não é mapear exaustivamente a produção científica sobre técnicas de busca, mas identificar ferramentas
disponíveis, operacionais ou em desenvolvimento, que ofereçam suporte ao processo de snowballing. Como essas ferramentas frequentemente são divulgadas por meio de relatórios técnicos, documentações de projetos, repositórios de software, preprints e outros materiais não indexados em bases científicas formais, uma RSL tradicional tenderia a excluir parte significativa dessas fontes, comprometendo o alcance da investigação (PAEZ, 2017).
A escolha pelo uso exclusivo do Google Scholar também se justifica metodologicamente. Diferentemente de bases como Scopus, IEEE Xplore ou ACM Digital Library,
o Google Scholar apresenta ampla cobertura, incluindo literatura cinzenta e documentos acadêmicos não publicados em periódicos ou conferências tradicionais (JAMALI; ASADI, 2010). Além disso, muitas das ferramentas identificadas neste estudo (como protótipos, implementações experimentais e algoritmos aplicados ao snowballing) encontram-se disponibilizadas apenas por meio de páginas institucionais, repositórios de código e preprints, formatos que não são indexados pelas bases mencionadas.
Assim, restringir a busca às bases Scopus, IEEE ou ACM resultaria em viés de exclusão, priorizando somente estudos formais e deixando de contemplar implementações práticas que são essenciais para responder às questões de pesquisa deste trabalho. Dessa forma, o Google Scholar apresenta-se como a plataforma mais adequada para capturar a diversidade de fontes necessárias à caracterização das ferramentas existentes, alinhando-se aos objetivos da revisão.
O objetivo com este protocolo é responder a seguinte questão: "Existem ferramentas que auxiliam na técnica de Snowballing?" Para isso, primeiramente, definimos um conjunto de palavras-chave que pudessem recuperar estudos desejados.
Na Tabela 1 são apresentados as palavras-chave, em português e inglês, juntamente
com seus sinônimos.

3.1.1. QUESTÕES DE PESQUISA
A partir da questão central, foram definidas três questões de pesquisa, as quais
fundamentaram a busca pelos artigos relacionados. São elas:

Q1. Existem ferramentas que auxiliam na Técnica de Snowballing?
Q2. Em que nível de profundidade a ferramenta apresenta suas funcionalidades com
base na técnica de Snowballing?

As questões de pesquisas elaboradas tem como objetivo encontrar ferramentas
que auxiliem na técnica de snowballing, e também apresentarem suas funcionalidades
de forma clara para avaliação das mesmas.

3.1.2. PROCESSO DE BUSCA
Após a realização de testes com as palavras-chave, definimos a seguinte string
genérica de busca:
("snowballing" OR "snowball search" OR "snowball sampling" OR "backward snowballing" OR "forward snowballing")"tool" OR "platform" OR "software" OR"framework").
Após definirmos a string de busca, e se tratar de uma revisão de literatura cinzenta, que busca contemplar ferramentas que estão disponíveis abertamente ao público geral, foi definida a busca no Google Scholar.

3.1.3. CRITÉRIOS DE INCLUSÃO E EXCLUSÃO
O processo de seleção foi realizado de duas formas: (1) Critérios de inclusão e exclusão e (2) Critérios de qualidade. Os critérios de inclusão e exclusão, criados com o objetivo de filtrar as ferramentas retornadas nas bases de busca, podem ser vistos na Tabela 2. Já os critérios de qualidade, definidos na Tabela 3, tem o intuito de verificar o conteúdo das ferramentas logo após passarem pelos critérios de inclusão e exclusão.
As questões de qualidade representam um critério adicional de avaliação, cujo propósito é refinar e determinar a contribuição das ferramentas utilizadas no estudo.
Essas questões permitem verificar a adequação das ferramentas, possibilitando sua aceitação ou rejeição após a validação adequada.
A Tabela 3 apresenta de forma objetiva os critérios utilizados nesta pesquisa. As questões são identificadas por um código ID e acompanhadas do peso, um valor atribuído a cada pergunta conforme sua prioridade no contexto do objetivo do trabalho.
Em seguida, na descrição, é apresentada a pergunta base, na qual são definidas também as métricas e suas classificações de acordo com a resposta a cada pergunta. As
classificações possíveis são: Y (Yes) como score de 1.0, P (Partially) como score de 0.5 e N (No) como score de 0.

3.1.4. EXECUÇÃO DA REVISÃO
As buscas pelos artigos foram realizadas no período entre janeiro e março de
2024. Esta etapa ocorreu em duas fases: (1) Realização da busca na base estabelecida com a string definida; (2) Aplicação dos critérios de inclusão, exclusão e qualidade
no retorno da base escolhida a partir da leitura dos estudos e ferramentas. Na Tabela
4 podem ser observados os resultado da aplicação das duas fases.
Na primeira fase, a busca realizada na base estabelecida retornou um total de
61 estudos relacionados à técnica de snowballing. Ressalta-se que não foram aplicados filtros de período temporal. A delimitação dos resultados ocorreu por meio da
utilização da funcionalidade de pesquisa avançada do Google Scholar, na qual foram
combinadas palavras-chave específicas e operadores de busca para restringir os resultados aos estudos mais aderentes aos objetivos desta pesquisa. Já na segunda fase, foram aplicados os CQ, retornando um total de 6 ferramentas. Após a aplicação dos CQ, a Tabela 5 apresenta a referência da ferramenta, juntamente com a base
escolhida.
Na Tabela 5 é possível observar que na coluna “Base” estão listados todos os repositórios utilizados nesta RSL, sendo que cada base possui um determinado filtro, sendo possível buscar artigos mais específicos. Na coluna “Qtd.” são apresentadas as quantidades de trabalhos retornados em cada base e na coluna “Qtd. após CQ” estão as quantidades de trabalhos após a aplicação dos critérios de inclusão, exclusão e qualidade.

3.2. ANÁLISE E DISCUSSÕES
A partir das ferramentas retornadas e apresentados na Tabela 5, a presente seção tem por objetivo responder às questões de pesquisa definidas na Seção 3.1.1. Após extração dos dados, por meio da coleta definida.
3.2.1. FERRAMENTAS QUE AUXILIAM NA TÉCNICA DE SNOWBALLING
De acordo com a Tabela 5, podemos visualizar que foram encontradas 6 ferramentas que auxiliam na técnica de snowballing. As ferramentas encontradas aplicam
diferentes aspectos sobre o snowballing e como é tratado esta técnica dentro de cada ferramenta.
A ferramenta discutida por (PIMENTEL, 2017) 01, é um projeto que fornece ferramentas para executar uma revisão de literatura por meio de snowballing. Ele inclui widgets do Jupyter Notebook que auxiliam nas etapas de avanço e retrocesso do snowballing de literatura, notebooks que auxiliam na inserção de citações no banco de dados e notebooks para analisar o snowballing e produzir gráficos de citação, histogramas de local de publicação e um resumo das etapas do snowballing. Esta ferramenta fornece diversos recursos para a aplicação do snowballing, facilitando sua utilização por integrar múltiplas funcionalidades voltadas para a conclusão da pesquisa por snowballing.
O trabalho de (MCWEENY; CHOE; NORTON, 2021) 02 apresenta uma ferramenta web desenvolvida a partir de resultados obtidos de estudos do Microsoft Academic, descontinuado em 2021. A ferramenta foi reformulada com novos templates de dados para continuar sendo utilizada. Embora não possua integração com ferramentas de gerenciamento de referências, o SnowGlobe oferece um gerenciamento de pesquisa completo, gerando estatísticas que auxiliam na técnica de snowballing, diante disso, é possível analisar diversas funcionalidades como, importação de estudos, análise de duplicidade, detecção de estudos para realização da análise, geração de gráficos e estatistícas.
O trabalho de (SILVA, 2017) 03 apresenta um estudo sobre critérios para priorização de estudos primários identificados pelo snowballing, com o objetivo de aumentar
a eficiência dessa técnica. Apesar do estudo não propor a criação de uma nova ferramenta, ele demonstra os critérios aplicados na ferramenta StArt, que também possui
integração com a técnica de snowballing, apresentando assim os resultados obtidos que contribuem para o aumento da eficiência na aplicação da técnica snowballing sem que haja perda significativa de qualidade dos resultados obtidos.
O estudo de (BEZERRA; SOUZA, 2014) 04 apresenta um algoritmo desenvolvido para automação da snowballing, este mesmo algoritmo foi implementado na ferramenta Ramani, esta ferramenta tem como objetivo realizar mapeamento sistemático de estudos. Diante disso, Ramani tem integração com a técnica de snowballing backward e forward., no referido estudo, é demonstrado processo de mapeamento sistemático, demonstrando cada etapa que será implementada, O snowballing automático usa simultaneamente o snowballing backward e forward durante sua execução, que termina quando o algoritmo não consegue encontrar artigos adicionais do grupo
de artigos referenciados ou citados. Portanto, para minimizar o estresse do processamento, este algoritmo considera como parâmetro de entrada a definição de uma ou mais conferências (ou periódicos) para limitar o espaço ou escopo de busca, ou seja, isso funciona como um filtro para a seleção de artigos referenciados ou citados. .
O trabalho de (HAASTRECHT et al., 2021) 05 é apresentado uma metodologia de revisão sistemática que combina aprendizagem ativa e snowballing, sendo assim, permitindo uma revisão mais eficiente e abrangente. O artigo demonstra que essa metodologia pode acelerar o processo de triagem de títulos e resumos em um fator de 6, facilitando o acesso às revisões sistemáticas, impactando no fator de novos pesquisadores inexperientes tenham sucesso em sua pesquisa, no estudo, O artigo inclui dois estudos de caso que avaliam a eficácia da metodologia. O primeiro estudo mostra a aplicação completa do SYMBALS, enquanto o segundo é um estudo de benchmark que compara o SYMBALS com outras metodologias de revisão sistemática, demonstrando que o SYMBALS supera as abordagens existentes em termos de velocidade e precisão esta metodologia foi testada utilizando a ferramenta (ASREVIEWLAB, 2023), tornando-se útil em demonstrar um método que pode ser aplicado na ferramenta.
A ferramenta (ASREVIEWLAB, 2023) 06 é uma ferramenta de revisão sistemática por aprendizagem de máquina e modos de exploração, esta ferramenta possui um extensão chamada ASReview Datatools, que é um pacote de extensões com diversas funcionalidades extras na ferramenta, uma delas seria a técnica de snowballing. A ferramenta utiliza a API da OpenAlex, que seria uma base de dados bibliométricos por acesso aberto, além disso, possibilita a possibilidade de snowballing backward e
forward.
Ao analisar os resultados da pesquisa foi possível observar que existem ferramentas e metodologias que auxiliam na técnica de snowballing. Sendo assim, notamos
uma demanda para este tipo de conteúdos e de ferramentas que gerem maior confiabilidade e segurança nos resultados das pesquisa, por exemplo, até integrar revisão
sistemática e snowballing em uma mesma pesquisa.
3.2.2. O NÍVEL DE PROFUNDIDADE QUE AS FERRAMENTAS APRESENTAM SUAS FUNCIONALIDADES COM BASE NA TÉCNICA DE SNOWBALLING
Com base nos estudos analisados, é possível observar que todos os artigos revisados discutem suas respectivas funcionalidades e metodologias de desenvolvimento.
Nesse sentido, as ferramentas avaliadas expõe suas funcionalidades da forma adequada.
Essas ferramentas apresentam um nível elevado de detalhamento em suas funcionalidades, acompanhadas por documentação e manuais de uso adequados. Isso
possibilita que qualquer estudante, mesmo aqueles que não são da área de tecnologia, compreendam e apliquem essas ferramentas em seus estudos.
As ferramentas (01, 02, 03 ,04, 06) aplicam a técnica de snowballing de maneiras distintas, mas todas definem claramente seus requisitos funcionais de forma detalhada, além de fornecerem projetos de demonstração para testes em suas respectivasaplicações.
Adicionalmente, foram realizados testes para verificar a disponibilidade dessas ferramentas na data atual, e constatou-se que todas as ferramentas mencionadas funcionam conforme descrito em suas documentações, à época da publicação desta tese.