Published October 6, 2026
| Version v1
Conference paper
Open
Integração de dados energéticos e meteorológicos por meio de um pipeline ETL aplicado ao monitoramento fotovoltaico
Authors/Creators
- 1. Coordenadoria Geral de Pós-Graduação, Extensão e Pesquisa do Centro Paula Souza
- 2. SENAI
- 3. Upep-Unidade de Pós Graduação Pesquisa e Extensão do CPS
- 4. CGPEP CEETEPS
- 5. Fatec Sorocaba
Description
A integração de dados energéticos e meteorológicos provenientes de plataformas distintas apresenta desafios relacionados à heterogeneidade dos formatos, estruturas e mecanismos de acesso, principalmente quando as fontes não disponibilizam interfaces públicas e documentadas, dessa maneira constitui uma etapa fundamental para a consolidação de informações destinadas à análise de sistemas fotovoltaicos, onde deve-se estabelecer procedimentos capazes de extrair, padronizar e armazenar os dados de forma consistente. No contexto do monitoramento fotovoltaico, a integração de dados de geração de energia com dados meteorológicos possibilita estruturar uma base de dados destinada a análises posteriores do comportamento dos sistemas. Este trabalho apresenta o desenvolvimento de um pipeline ETL (Extract, Transform and Load) para automatizar a extração, transformação e carga de dados provenientes do sistema de monitoramento fotovoltaico da FATEC Franco da Rocha, disponibilizados pela plataforma Growatt, e de uma estação meteorológica localizada em Cajamar, disponibilizada pela plataforma Meteoservice. O objetivo geral consiste em desenvolver um pipeline ETL capaz de integrar essas fontes heterogêneas em uma base de dados centralizada, estruturada e adequada para análises posteriores. Metodologicamente, o estudo constituiu o desenvolvimento da camada de integração de dados, utilizando PHP no Back-end e banco de dados MariaDB hospedado em uma Virtual Private Server (VPS). Para a extração, foram empregadas estratégias distintas de acordo com as características das fontes: engenharia reversa e autenticação programática para acesso à plataforma Growatt e Web Scraping para obtenção dos dados disponibilizados pela Meteoservice. Na etapa de transformação foram implementadas rotinas de limpeza, normalização e conversão dos dados, enquanto a carga utilizou conexão PDO, tratamento de exceções e operações UPSERT para controle de duplicidades. Durante a validação foram realizadas 20 execuções, sendo 16 concluídas com sucesso e quatro com falhas, correspondendo a uma taxa de sucesso de 80%. Foram extraídos 16 registros do sistema fotovoltaico e 10 da estação meteorológica, totalizando 26 registros carregados no banco, com tempo médio de execução de aproximadamente 4,5 segundos. Os resultados obtidos até o momento demonstram a viabilidade técnica da integração proposta e corroboram a literatura quanto à necessidade de estratégias específicas para extração, transformação e armazenamento de dados provenientes de fontes heterogêneas. O pipeline permanece em desenvolvimento, sendo necessárias novas etapas de validação, aperfeiçoamento e ampliação da solução.