Published August 1, 2024 | Version v1
Journal article Open

Future Estimation of Hydrometeorological Variables Using Machine Learning Techniques: A Comparative Approach

Description

[ENGLISH]
Objective: The objective of the research was to analyze and compare different machine learning models to identify which technique presents the best performance in predicting hydrometeorological variables. Theoretical Framework: This section presents the main concepts that underpin the work. Machine learning techniques such as support vector machines, decision trees, random forests, artificial neural networks, and gradient boosting are presented, providing a solid foundation for understanding the context of the investigation. Method: The study uses a comparative methodology by applying machine learning techniques to predict hydrometeorological variables based on data collected in Petrolina-PE. Various machine learning techniques were employed and compared. Data normalization was performed through logarithms, and the treatment included filling or excluding inconsistent records. The effectiveness of the models is evaluated using metrics such as the Nash-Sutcliffe efficiency coefficient, Willmott index, and Pearson correlation coefficient. Results and Discussion: The obtained results showed good predictability, ranging from 50 to 70% efficiency. The comparative analysis of the results allowed identifying patterns and relationships between variables and initial configurations of the algorithms, contributing to a better understanding of hydrometeorological processes and their predictability. Research Implications: By providing more accurate and reliable forecasts, the models presented can assist managers in making decisions about the sustainable use of water and the mitigation of natural disasters such as floods. Originality/Value: This study contributes to the literature by advancing the estimation of hydrometeorological variables, improving existing techniques, and providing more accurate data for water resource management. Its impact extends from mitigating risks associated with extreme hydrological events to promoting efficiency in the use of water resources, contributing to the sustainability and resilience of aquatic ecosystems, essential in the face of climate change and environmental challenges.

[PORTUGUESE]
Objetivo: O objetivo da pesquisa foi analisar e comparar diferentes modelos de aprendizagem de máquina para identificar qual técnica apresenta o melhor desempenho na previsão de variáveis hidrometeorológicas. Referencial Teórico: Neste tópico, são apresentados os principais conceitos que fundamentam o trabalho. As técnicas de aprendizagem de máquina, como máquinas de suporte vetorial, árvore de decisão, florestas aleatórias, redes neurais artificiais e reforço de gradiente são apresentadas, fornecendo uma base sólida para a compreensão do contexto da investigação. Método: O estudo utiliza uma metodologia comparativa aplicando técnicas de aprendizado de máquina para prever variáveis hidrometeorológicas, baseando-se em dados coletados em Petrolina-PE. Diversas técnicas de aprendizagem de máquina foram empregadas e comparadas. A normalização dos dados foi realizada através de logaritmos, e o tratamento incluiu preenchimento ou exclusão de registros inconsistentes. A eficácia dos modelos é avaliada usando métricas como o coeficiente de eficiência de Nash-Sutcliffe, índice de Willmott e coeficiente de correlação de Pearson. Resultados e Discussão: Os resultados obtidos apresentaram uma capacidade de previsibilidade boa, variando de 50 a 70% sua eficiência. A análise comparativa dos resultados permitiu identificar padrões e relações entre variáveis e configurações iniciais dos algoritmos, contribuindo para uma melhor compreensão dos processos hidrometeorológicos e sua previsibilidade. Implicações da Pesquisa: Ao fornecer previsões mais precisas e confiáveis, os modelos apresentados podem auxiliar os gestores na tomada de decisões sobre o uso sustentável da água e a mitigação de desastres naturais, como inundações. Originalidade/Valor: Este estudo contribui para a literatura ao avançar na estimativa de variáveis hidrometeorológicas, aprimorando técnicas existentes e fornecendo dados mais precisos para a gestão de recursos hídricos. Seu impacto se estende desde a mitigação de riscos associados a eventos hidrológicos extremos até a promoção da eficiência no uso dos recursos hídricos, contribuindo para a sustentabilidade e resiliência dos ecossistemas aquáticos, essenciais frente às mudanças climáticas e desafios ambientais.

[SPANISH]
Objetivo: El objetivo de la investigación fue analizar y comparar diferentes modelos de aprendizaje automático para identificar qué técnica presenta el mejor rendimiento en la predicción de variables hidrometeorológicas. Marco Teórico: Esta sección presenta los principales conceptos que sustentan el trabajo. Se presentan técnicas de aprendizaje automático como máquinas de vectores de soporte, árboles de decisión, bosques aleatorios, redes neuronales artificiales y potenciación del gradiente, proporcionando una base sólida para comprender el contexto de la investigación. Método: El estudio utiliza una metodología comparativa aplicando técnicas de aprendizaje automático para predecir variables hidrometeorológicas basándose en datos recopilados en Petrolina-PE. Se emplearon y compararon diversas técnicas de aprendizaje automático. La normalización de datos se realizó mediante logaritmos, y el tratamiento incluyó el relleno o la exclusión de registros inconsistentes. La eficacia de los modelos se evalúa utilizando métricas como el coeficiente de eficiencia de Nash-Sutcliffe, el índice de Willmott y el coeficiente de correlación de Pearson. Resultados y Discusión: Los resultados obtenidos mostraron una buena previsibilidad, oscilando entre el 50 y el 70% de eficiencia. El análisis comparativo de los resultados permitió identificar patrones y relaciones entre variables y configuraciones iniciales de los algoritmos, contribuyendo a una mejor comprensión de los procesos hidrometeorológicos y su previsibilidad. Implicaciones de la Investigación: Al proporcionar pronósticos más precisos y fiables, los modelos presentados pueden ayudar a los gestores en la toma de decisiones sobre el uso sostenible del agua y la mitigación de desastres naturales como las inundaciones. Originalidad/Valor: Este estudio contribuye a la literatura avanzando en la estimación de variables hidrometeorológicas, mejorando las técnicas existentes y proporcionando datos más precisos para la gestión de los recursos hídricos. Su impacto se extiende desde la mitigación de riesgos asociados con eventos hidrológicos extremos hasta la promoción de la eficiencia en el uso de los recursos hídricos, contribuyendo a la sostenibilidad y resiliencia de los ecosistemas acuáticos.

[CHINESE]
目的:本研究旨在分析和比较不同的机器学习模型,以确定哪种技术在预测水文气象变量方面表现最佳。理论框架:本节介绍了支持这项工作的主要概念。介绍了支持向量机、决策树、随机森林、人工神经网络和梯度提升等机器学习技术,为理解调查背景提供了坚实的基础。方法:本研究采用比较方法,应用机器学习技术根据在彼得罗利纳-PE收集的数据预测水文气象变量。采用了多种机器学习技术并进行了比较。通过对数进行数据归一化,处理包括填充或排除不一致的记录。使用纳什-萨特克利夫效率系数、威尔莫特指数和皮尔逊相关系数等指标评估模型的有效性。结果与讨论:所得结果显示出良好的可预测性,效率在50%到70%之间。结果的比较分析允许识别变量与算法初始配置之间的模式和关系,有助于更好地理解水文气象过程及其可预测性。研究意义:通过提供更准确和可靠的预测,所提出的模型可以协助管理者就水的可持续利用和减轻洪水等自然灾害做出决策。原创性/价值:本研究通过推进水文气象变量的估算,改进现有技术,并为水资源管理提供更准确的数据,为文献做出了贡献。其影响从减轻与极端水文事件相关的风险扩展到提高水资源利用效率,有助于水生生态系统的可持续性和复原力,这在面对气候变化和环境挑战时至关重要。

[GERMAN]
Ziel: Ziel der Forschung war es, verschiedene Modelle des maschinellen Lernens zu analysieren und zu vergleichen, um festzustellen, welche Technik die beste Leistung bei der Vorhersage hydrometeorologischer Variablen aufweist. Theoretischer Rahmen: Dieser Abschnitt stellt die wichtigsten Konzepte vor, die der Arbeit zugrunde liegen. Techniken des maschinellen Lernens wie Support Vector Machines, Entscheidungsbäume, Random Forests, künstliche neuronale Netze und Gradient Boosting werden vorgestellt und bieten eine solide Grundlage für das Verständnis des Untersuchungskontextes. Methode: Die Studie verwendet eine vergleichende Methodik, indem Techniken des maschinellen Lernens angewendet werden, um hydrometeorologische Variablen auf der Grundlage von in Petrolina-PE gesammelten Daten vorherzusagen. Verschiedene Techniken des maschinellen Lernens wurden eingesetzt und verglichen. Die Datennormalisierung erfolgte durch Logarithmen, und die Behandlung umfasste das Auffüllen oder den Ausschluss inkonsistenter Datensätze. Die Wirksamkeit der Modelle wird anhand von Metriken wie dem Nash-Sutcliffe-Effizienzkoeffizienten, dem Willmott-Index und dem Pearson-Korrelationskoeffizienten bewertet. Ergebnisse und Diskussion: Die erzielten Ergebnisse zeigten eine gute Vorhersagbarkeit mit einer Effizienz zwischen 50 und 70 %. Die vergleichende Analyse der Ergebnisse ermöglichte die Identifizierung von Mustern und Beziehungen zwischen Variablen und Anfangskonfigurationen der Algorithmen, was zu einem besseren Verständnis hydrometeorologischer Prozesse und ihrer Vorhersagbarkeit beitrug. Forschungsimplikationen: Durch die Bereitstellung genauerer und zuverlässigerer Vorhersagen können die vorgestellten Modelle Manager bei Entscheidungen über die nachhaltige Wassernutzung und die Minderung von Naturkatastrophen wie Überschwemmungen unterstützen. Originalität/Wert: Diese Studie trägt zur Literatur bei, indem sie die Schätzung hydrometeorologischer Variablen vorantreibt, bestehende Techniken verbessert und genauere Daten für das Wasserressourcenmanagement bereitstellt.

[FRENCH]
Objectif : L'objectif de la recherche était d'analyser et de comparer différents modèles d'apprentissage automatique afin d'identifier quelle technique présente les meilleures performances dans la prévision des variables hydrométéorologiques. Cadre théorique : Cette section présente les principaux concepts qui sous-tendent le travail. Des techniques d'apprentissage automatique telles que les machines à vecteurs de support, les arbres de décision, les forêts aléatoires, les réseaux de neurones artificiels et le gradient boosting sont présentées, fournissant une base solide pour comprendre le contexte de l'enquête. Méthode : L'étude utilise une méthodologie comparative en appliquant des techniques d'apprentissage automatique pour prédire les variables hydrométéorologiques sur la base de données collectées à Petrolina-PE. Diverses techniques d'apprentissage automatique ont été employées et comparées. La normalisation des données a été effectuée par logarithmes, et le traitement comprenait le remplissage ou l'exclusion des enregistrements incohérents. L'efficacité des modèles est évaluée à l'aide de mesures telles que le coefficient d'efficacité de Nash-Sutcliffe, l'indice de Willmott et le coefficient de corrélation de Pearson. Résultats et discussion : Les résultats obtenus ont montré une bonne prévisibilité, avec une efficacité allant de 50 à 70 %. L'analyse comparative des résultats a permis d'identifier des modèles et des relations entre les variables et les configurations initiales des algorithmes, contribuant à une meilleure compréhension des processus hydrométéorologiques et de leur prévisibilité. Implications de la recherche : En fournissant des prévisions plus précises et fiables, les modèles présentés peuvent aider les gestionnaires à prendre des décisions concernant l'utilisation durable de l'eau et l'atténuation des catastrophes naturelles telles que les inondations. Originalité/Valeur : Cette étude contribue à la littérature en faisant progresser l'estimation des variables hydrométéorologiques, en améliorant les techniques existantes et en fournissant des données plus précises pour la gestion des ressources en eau. Son impact s'étend de l'atténuation des risques associés aux événements hydrologiques extrêmes à la promotion de l'efficacité de l'utilisation des ressources en eau.

Files

164+n6+ING+RGSA.pdf

Files (1.6 MB)

Name Size Download all
md5:5ecbe8784aa7d5ffda561a0ebd955489
772.0 kB Preview Download
md5:846a056071d2db374dd22aea8729e07e
839.2 kB Preview Download

Additional details

Additional titles

Translated title (Portuguese)
Estimativa Futura de Variáveis Hidrometeorológicas Utilizando Técnicas de Aprendizagem de Máquina: Uma Abordagem Comparativa
Translated title (Spanish)
Estimación Futura de Variables Hidrometeorológicas Utilizando Técnicas de Aprendizaje Automático: Un Enfoque Comparativo
Translated title (Jinyu Chinese)
使用机器学习技术对水文气象变量进行未来估算:一种比较方法
Translated title (German)
Zukünftige Schätzung hydrometeorologischer Variablen unter Verwendung von maschinellen Lernverfahren: Ein vergleichender Ansatz
Translated title (Saint Lucian Creole French)
Estimation future des variables hydrométéorologiques à l'aide de techniques d'apprentissage automatique : Une approche comparative

Funding

Coordenação de Aperfeicoamento de Pessoal de Nível Superior

Dates

Issued
2024-08-01
Accepted
2024-06-21
Submitted
2024-04-22

References

  • Alaneme, U. G., & Mbadike, E. M. (2019). Modelling of the mechanical properties of concrete with cement ratio partially replaced by aluminium waste and sawdust ash using artificial neural network. SN Applied Sciences, v. 1, n. 11, p. 1514.
  • Antoniadis, A, lambert, L. S., & Poggi, J. M. (2021). Random forests for global sensitivity analysis: A selective review. Reliability Engineering & System Safety, v. 206, p. 107312.
  • Braz, J. A. G. (2023). Predição de velocidade de ventos para geração eólica, utilizando aprendizado de máquina. Trabalho de Conclusão de Curso.
  • Chen, R. C., Dewi, C., Huang, S. W., & Caraka, R. E. (2020). Selecting critical features for data classification based on machine learning methods. Journal of Big Data, v. 7, n. 1, p. 52.
  • Cohen, I., Huang, Y., Chen, J., & Benesty, J. (2009). Pearson correlation coefficient. Noise reduction in speech processing, p. 1-230. Springer Berlin.
  • Dalla T. D., Lombardi, A., Menapace, A., Zanfei, A., & Righetti, M. (2024). Exploring the feasibility of Support Vector Machine for short-term hydrological forecasting in South Tyrol: challenges and prospects. Discover Applied Sciences, v. 6, n. 4, p. 154.
  • Dayal, D., Gupta, P. K., & Pandey, A. (2021). Streamflow estimation using satellite-retrieved water fluxes and machine learning technique over monsoon-dominated catchments of India. Hydrological Sciences Journal, v. 66, n. 4, p. 656-671.
  • Huang, H., Liang, Z., Li, B., Wang, D., Hu, Y., & Li, Y. (2019). Combination of multiple data-driven models for long-term monthly runoff predictions based on Bayesian model averaging. Water Resources Management, v. 33, p. 3321-3338.
  • Kamir, E., Waldner, F., & Hochman, Z. (2020). Estimating wheat yields in Australia using climate records, satellite image time series and machine learning methods. ISPRS Journal of Photogrammetry and Remote Sensing, v. 160, p. 124-135.
  • Lal, A., & Datta, B. (2019). Multi-objective groundwater management strategy under uncertainties for sustainable control of saltwater intrusion: Solution for an island country in the South Pacific. Journal of Environmental Management, v. 234, p. 115-130.
  • Latif, S. D., & Ahmed, A. N. (2023). A review of deep learning and machine learning techniques for hydrological inflow forecasting. Environment, Development and Sustainability, v. 25, n. 11, p. 12189-12216.
  • Liang, Z., Tang, T., Li, B., Liu, T., Wang, J., & Hu, Y. (2018). Long-term streamflow forecasting using SWAT through the integration of the random forests precipitation generator: case study of Danjiangkou Reservoir. Hydrology Research, v. 49, n. 5, p. 1513-1527.
  • Moraes, R. G. S., Lima, E. F., Souza, P. L. O., Damascena, J. F., & Silva, C. M. (2023). Métodos de estimativa da evapotranspiração de referência no período seco e chuvoso em Imperatriz, MA. Revista Brasileira de Climatologia, v. 33, p. 169-188.
  • Nachappa, T. G., Piralilou, S. T., Gholamnia, K., Ghorbanzadeh, O., Rahmati, O., & Blaschke, T. (2020). Flood susceptibility mapping with machine learning, multi-criteria decision analysis and ensemble using Dempster Shafer Theory. Journal of Hydrology, v. 590, p. 125275.
  • Nguyen, T., Nguyen, B. M., & Nguyen, G. (2019). Building resource auto-scaler with functional-link neural network and adaptive bacterial foraging optimization. International Conference on Theory and Applications of Models of Computation, p. 501-517.
  • Prieto, C., Le Vine, N., Kavetski, D., García, E., & Medina, R. (2019). Flow prediction in ungauged catchments using probabilistic random forests regionalization and new statistical adequacy tests. Water Resources Research, v. 55, n. 5, p. 4364-4392.
  • Sáez, P. J. (2018). Simulación de procesos hidrológicos utilizando técnicas de machine learning y modelos hidrológicos (Tese de doutorado). Universidad Católica de Murcia.
  • Senocak, A. U. G., Yilmaz, M. T., Kalkan, S., & Y. I. (2023). An explainable two-stage machine learning approach for precipitation forecast. Journal of Hydrology, v.627.
  • Thieu, N., Barma, S., Lam, V., Kisi, O., & Mahesha, Amai. (2023). Groundwater level modeling using augmented artificial ecosystem optimization. Journal of Hydrology, v. 617.
  • Valipour, M., Khoshkam, H., Bateni, S. M., & Jun, C. (2024). Machine-Learning-based short-term forecasting of daily precipitation in different climate regions across the contiguous United States. Expert Systems with Applications, v. 238.
  • Xu, K., Han, Z., Xu, H., & Bin, L. (2023). Rapid prediction model for urban floods based on a light gradient boosting machine approach and hydrological-hydraulic model. International Journal of Disaster Risk Science, v. 14, n. 1, p. 79-97.
  • Yu, H., & Hutson, A. D. (2024). A robust Spearman correlation coefficient permutation test. Communications in Statistics-Theory and Methods, v. 53, n. 6, p. 2141-2153.