Künstliche Intelligenz und Drohnen: Automatisierte Beikrautidentifikation in Sorghumfeldern
Creators
- 1. Technische Universität München Fakultät für Informatik
-
2.
Weihenstephan-Triesdorf University of Applied Sciences
- 3. Technische Universität München - Campus Straubing für Biotechnologie und Nachhaltigkeit
Description
Beikräuter sind Pflanzen, die auf landwirtschaftlichen Flächen wachsen und durch Ressourcenkonkurrenz den Ertrag und die Qualität der Ernte verringern. Zur Bekämpfung der Beikräuter stehen verschiedene Strategien und Maßnahmen zur Verfügung. Am häufigsten werden dabei Herbizide eingesetzt, obwohl Risiken für die menschliche Gesundheit und die Umwelt bekannt sind. Zur Einsparung der Pflanzenschutzmittel wird daher ein standortspezifisches Beikrautmanagement empfohlen. Dafür ist eine präzise Erkennung und Klassifizierung von Beikräutern erforderlich. Unbemannte Luftfahrzeuge (Unmanned Aereal Vehicle = UAV) sind nützliche Werkzeuge zur Erfassung hochauflösender Felddaten für die Bildsegmentierung mit Deep-Learning-Methoden. Im Gegensatz zu anderen Bildaufnahmesystemen wie konventionellen Kameras, Satelliten und Flugzeugen sind UAVs kostengünstig, schnell und erfassen aufgrund geringerer Flughöhe hochwertige Bilder ohne eine Störung durch Wolken.
In diesem Projekt wurde die Eignung von UAVs für die Erzeugung von Felddaten für die Früherkennung von Beikraut in Sorghum untersucht. Unterschiedliche Aufnahmebedingungen und UAV-Einstellungen wurden evaluiert, um die Bildqualität zu optimieren. Diese Bilder wurden anschließend manuell annotiert, was zu einem großen, vielfältigen und hochwertigen UAV-Beikrautdatensatz für Sorghum führte. Mithilfe dieses Datensatzes wurden mehrere moderne Deep-Learning-Modelle trainiert und auf ihre Generalisierungsfähigkeit unter Berücksichtigung von Faktoren wie Bewegungsunschärfe, direkter Sonneneinstrahlung und unterschiedlichen Wachstumsstadien, getestet.
Die entwickelten Modelle waren in der Lage, dikotyle Beikräuter in einer Vielzahl von Drohnenbildern und Wachstumsstadien von Sorghum mit hoher Genauigkeit zu erkennen, hatten jedoch Schwierigkeiten mit monokotylen Beigräsern. Um Bewegungsunschärfe zu vermindern, welche als eine der Hauptfaktoren für Qualitätsverluste gilt, wurde ein zweistufiges Deep-Learning Verfahren entwickelt. Dieses verbessert vor der Segmentierung die Bildqualität. Darüber hinaus erfolgte die Entwicklung eines generativen Modells, um künstliche Bilder von Beikräutern und die dazugehörigen Segmentierungsmasken zu erzeugen. Diese generierten Bildpaare können dann verwendet werden, um neue KI-Modelle für die Beikrautsegmentierung zu trainieren, wenn die Trainingsdaten spärlich sind.
Schließlich wurde ein Anpassungstest für Mais durchgeführt, um die Übertragbarkeit des Modells auf andere Kulturarten zu überprüfen. Es zeigte gute Ergebnisse in frühen Wachstumsstadien (BBCH 13 und 15), jedoch war die Unterscheidung zwischen Mais und Beikräutern in späteren Wachstumsstadien eingeschränkt. Dies weist auf den weiteren Forschungsbedarf hin.
Abstract (En)
Weeds are undesirable plants in agricultural fields that affect crop yield and quality by competing for nutrients, water, sunlight, and space. For centuries, farmers have used a variety of strategies and resources to control weeds. The use of herbicides is still the most common control strategy, but the harm to human health and the environment is well known and has been documented in numerous scientific studies. Site-specific weed management through variable rate herbicide application and mechanical weed control has long been recommended to reduce the amount of herbicide used. To implement such precise strategies, accurate detection, and classification of weeds in crop fields is a crucial first step. Unmanned Aerial Vehicles (UAVs) are useful tools for collecting high-resolution field data for image segmentation using deep learning methods. In contrast to other image acquisition systems such as conventional cameras, satellites and airplanes, UAVs are cost-effective, can collect high quality images over a large field area in a timely manner, and can fly at lower altitudes to avoid image quality degradation caused by cloud cover.
In this project, we investigated the suitability of consumer-grade UAVs to generate field data for early weed detection in Sorghum. To this end, we evaluated different capturing conditions and UAV settings to ensure high image quality. These images were then manually annotated and curated, resulting in a large, diverse, and high-quality UAV weed dataset for sorghum.
This dataset was used to train and evaluate several state-of-the-art deep learning-based weed and sorghum segmentation models in the field. Here, we investigated the generalization capabilities of our trained models with respect to various factors such as motion blur, color temperature, direct sun exposure leading to hard shadows, multiple growth stages of sorghum and the variety of weed species present. Our models were able to detect dicot weeds in a diverse set of drone images and growth stages of sorghum with high precision but had difficulty with monocot weeds. We also identified motion blur as a major bottleneck and developed a novel two-stage deep learning-based architecture to artificially remove motion blur prior to the segmentation step. In addition, we implemented a generative model to generate artificial images of weeds and their corresponding segmentation mask. These generated image pairs can then be used to train new AI models for weed segmentation when training data is sparse.
Finally, we evaluated the generalization capabilities of our model with respect to maize as an additional crop. Our model trained only on sorghum data was able to segment weeds and maize at growth stages 13 and 15. We saw a drop in performance in growth stages 14 and 16, indicating that there is room for improvement and that additional research is needed.
Files
tfz-bericht_87_EWIS_a.pdf
Files
(37.8 MB)
| Name | Size | Download all |
|---|---|---|
|
md5:006078e9ec88f7cf1b45cf707ac64220
|
37.8 MB | Preview Download |