Evaluation computergestützter Verfahren der Emotionsklassifikation für deutschsprachige Dramen um 1800

Wir präsentieren die Ergebnisse einer Evaluationsstudie zum Einsatz unterschiedlicher Verfahren des maschinellen Lernens für die Emotionsklassifikation auf historischen deutschen Dramen um 1800. Der Fokus liegt dabei auf Transformer-basierten Sprachmodellen wie BERT und ELECTRA vortrainiert auf zeitgenössischer und historischer Sprache. Als Gold Standard werden 5 Dramen des genannten Zeitraums bezüglich mehrerer Emotionskategorien annotiert. Die Evaluationsergebnisse zeigen, dass Transformer-basierte Modelle bessere Erkennungsraten erreichen als Baseline-Methoden wie lexikonbasierte Verfahren, bag-of-words-Ansätze oder statische Sprachmodelle. Für die Klassifikation der Polarität (positiv/negativ) wird eine Erkennungsrate von 83% erreicht. Die Erkennungsrate wird jedoch mit zunehmender Emotionszahl geringer. Historische Domänenadaption führt selten zu geringfügigen Verbesserungen in unserem Setting. Die besten Modelle sind hingegen die größten Sprachmodelle trainiert auf zeitgenössischer Sprache. Wir diskutieren unsere Ergebnisse und Impulse für die weitere Verbesserung.

Ein Beitrag zur 8. Tagung des Verbands "Digital Humanities im deutschsprachigen Raum" - DHd 2022 Kulturen des digitalen Gedächtnisses.