ASR4Memory. Automatische Transkription und domänenspezifisches Fine-Tuning von Spracherkennungsmodellen für die Geschichtswissenschaft

Das Projekt "ASR4Memory", gefördert durch das NFDI-Konsortium 4Memory, hat eine datenschutzkonforme, KI-gestützte Lösung zur Transkription historischer Audio- und Videoquellen auf Basis von "WhisperX" entwickelt. Über eine benutzerfreundliche Weboberfläche können audiovisuelle Materialien hochgeladen und sicher verarbeitet werden. Die Anwendung ermöglicht eine hochwertige Transkription in über 30 Sprachen inklusive Sprecherdiarisierung, Satz- und Wortalinierung sowie Export in vielfältige Nachnutzungsformate. Zur Verbesserung der Transkriptqualität wurde ein domänenspezifisches Fine-Tuning des Whisper-Modells "Large-v3" mit anonymisierten, deutschsprachigen Oral-History-Daten durchgeführt. Die Evaluationsergebnisse, basierend auf WER-Berechnungen und LLM-basierten Fehleranalysen, zeigen eine erhebliche Verbesserung der Transkriptionsgenauigkeit sowie eine Abschwächung von Glättungseffekten auf, sodass die Nutzung des fine-getunten Modells eine wortgetreuere Transkription ermöglicht. Das Poster präsentiert die Systemarchitektur der Anwendung, ergänzt durch eine audiovisuelle Demonstration der Ergebnisse des Fine-Tunings vor Ort.