Leitfaden für das Qualitätsmanagement bei der Entwicklung von Edge-AI-Produkten und Services

Obwohl sich der KI-Einsatz in der deutschen Wirtschaft zuletzt fast verdoppelt hat, scheitert die Überführung von Pilotprojekten in den Produktivbetrieb häufig an erheblichen Operationalisierungshürden. So stieg der Anteil von Unternehmen, die den Großteil ihrer Projekte im Bereich Generativer KI noch vor der Überführung in den Produktivbetrieb aufgeben mussten, binnen eines Jahres von 17 % auf 42 % im Jahr 2025, während andere Erhebungen die Abbruchquote von allgemeinen KI-Projekten sogar auf über 80 % beziffern. Als Hauptursachen für dieses vorzeitige Scheitern identifizieren Studien strukturelle und prozessuale Defizite in der Vorbereitungs- und Integrationsphase. Hierzu gehören vor allem strategische Fehler, unklar formulierte Problemstellungen, unzureichende MLOps-Infrastrukturen sowie gravierende Mängel bei der Datenqualität und Daten-Governance. Um diese Hürden zu überwinden und Projekte erfolgreich in die Praxis zu überführen, bedarf es eines systematischen Qualitätsmanagements.

Gerade im Kontext von Edge-AI-Systemen gestaltet sich dieses Qualitätsmanagement häufig deutlich anspruchsvoller und komplexer als bei zentralisierten KI-Systemen. Der wesentliche Grund hierfür liegt in der direkten physischen und systemischen Einbettung dieser Anwendungen: Da KI-Modelle dezentral auf Endgeräten – oft in direkter Interaktion mit Sensoren und Aktoren – ausgeführt oder angepasst werden, können Leistungseinbußen oder Modellfehler unmittelbare Auswirkungen auf die Sicherheit, Verfügbarkeit und Funktion des gesamten Systems haben. Zudem lässt sich die Qualität von Modellen oder dezentral lernenden Komponenten in der Regel nicht isoliert bewerten. Sie steht in einem ständigen Zielkonflikt mit strikten Hardware-Beschränkungen wie Speicher, Energie oder Rechenleistung und muss unter wechselnden, oft unvorhersehbaren Einsatz- und Netzwerkbedingungen aufrechterhalten werden. Darüber hinaus erfordern verteilte Architekturen oft eine kontinuierliche Synchronisation mit anderen Knoten oder Cloud-Modellen, um Inkonsistenzen im Gesamtsystem zu vermeiden. Dies erschwert die Leistungsbewertung und Compliance-Sicherung im operativen Betrieb erheblich.

Als Navigationswerkzeug für diese Herausforderungen bietet der vorliegende Leitfaden eine Orientierungshilfe für die qualitätsorientierte Entwicklung von Edge-AI-Produkten und -Services, ist grundsätzlich aber auch auf allgemeine KI-Systeme anwendbar. Er unterstützt Auftraggebende und Entwicklungsteams dabei, gemeinsame Produktvisionen frühzeitig auf ihre technische Machbarkeit, wirtschaftliche Tragfähigkeit, Qualitätsanforderungen sowie rechtliche und regulatorische Rahmenbedingungen zu überprüfen. So lassen sich kritische Erfolgsfaktoren frühzeitig identifizieren, Entwicklungsrisiken effizient reduzieren und die erfolgreiche Überführung von Produktideen in nutzbare Systeme insgesamt wahrscheinlicher machen.

Dafür strukturiert der Leitfaden das Qualitätsmanagement in Form einer Checkliste entlang von vier Lebensphasen und zugehörigen Qualitätskriterien: Die Charakterisierungsphase bewertet Kritikalität, Komplexität und Machbarkeit. Die Designphase definiert unter anderem Zweckbestimmung und Verfügbarkeit von Ressourcen. In der Entwicklung stehen unter anderem die Datenvorverarbeitung sowie die Modellgenerierung und -überprüfung im Fokus, während die Betriebsphase Aspekte wie Bedienbarkeit, Leistungsmonitoring und Instandhaltung abdeckt.

Der Leitfaden operationalisiert die spezifischen Qualitätskriterien mit Indikatoren, die als Checklisten-Fragen für allgemeine KI-Systeme formuliert sind und für das Qualitätsmanagement bei der Entwicklung allgemeiner KI-Systeme genutzt werden können. Da Edge-AI-Systeme in vielen Phasen eine erweiterte Betrachtung erfordern, werden diese allgemeingültigen Leitfragen um spezifische Vertiefungsfragen (Subindikatoren) ergänzt, die sich dediziert auf die besonderen Herausforderungen von Edge-AI-Systemen beziehen. Diese sensibilisieren gezielt für typische Einflussfaktoren und Fehlerquellen – und prüfen beispielsweise ab, ob die Modellvalidierung unter realistischen Bedingungen wie verteilten Datenquellen und Synchronisationsverzögerungen erfolgt, ob das System bei einem Leistungsabfall lokal auf eine sichere Fallback-Konfiguration umschalten kann oder ob Ereignisprotokolle bei instabiler Konnektivität sicher zwischengespeichert und asynchron übertragen werden. Die Beantwortung dieser Leit- und Vertiefungsfragen wird durch passgenaue, kommentierte Lösungshilfen unterstützt, die auf aktuelle Standards, Werkzeuge und Best Practices verweisen – etwa auf Algorithmen zur Erkennung von Datendrift. Insgesamt verzeichnet der Leitfaden eine Gesamtzahl von 64 Indikatoren sowie 28 spezifischen Subindikatoren, welche durch 80 Lösungshilfen und 14 vertiefende Orientierungshilfen abgedeckt werden.

Abschließend gibt der Leitfaden einen Ausblick auf offene Entwicklungsfelder, da viele Vorgehensweisen für komplexe Edge-AI-Systeme noch Gegenstand von Forschung und Standardisierung sind. Herausforderungen bestehen insbesondere bei der Bewertung und dem Test verteilter Systeme unter realen Betriebsbedingungen, der automatisierten Laufzeitoptimierung für komplexe Edge-Cloud-Umgebungen sowie bei Vorgehensmodellen für verteilte Lern- und Updateprozesse. Aus rechtlicher Sicht besteht weiterer Konkretisierungsbedarf vor allem bei der Frage, wie regulatorische Anforderungen – etwa aus der KI-Verordnung, dem Datenschutzrecht, dem Data Act und dem Produktsicherheitsrecht – in verteilten Edge-AI-Umgebungen praktisch umgesetzt und nachgewiesen werden können. Die Erfüllung dieser Vorgaben erfordert eine kontinuierliche Dokumentation und Steuerung über den gesamten Systemlebenszyklus. Der Leitfaden bietet hierfür eine erste methodische Grundlage, um rechtliche Anforderungen frühzeitig mit technischen Gestaltungsentscheidungen und dem Qualitätsmanagement zu verknüpfen. Denn die erfolgreiche Etablierung von Edge-AI wird künftig nicht allein durch Fortschritte bei Modellen und Hardware bestimmt, sondern zwingend robuste Edge-AI-Engineering- und Betriebsprozesse erfordern.

Zur möglichst einfachen Anwendung des Leitfadens wurde ein interaktives Workbook entwickelt, das direktes Bearbeiten und Ausfüllen der Checkliste ermöglicht. Um Zwischenstände zu sichern und den Austausch zwischen den beteiligten Parteien zu erleichtern, können Bearbeitungsstände exportiert und wieder importiert werden. Das digitale Workbook steht hier zum Download zur Verfügung.