Vergleich von IR-Systemkonfigurationen auf Komponentenebene

In der klassischen Evaluationsforschung werden Verfahren anhand der Performance
der Gesamtsysteme bewertet. Dies macht es schwer, die Wirkung
einzelner Systemkomponenten und ihr Zusammenspiel zu analysieren. Auf
Basis einer umfangreichen Evaluation mit mehreren englischsprachigen Testkorpora
wird ein Werkzeug zum interaktiven Vergleich von Systemkonfigurationen
vorgestellt. Neben der Möglichkeit, den Einfluss einzelner Komponenten
auf das Rechercheergebnis zu untersuchen, wird ein Ansatz zur
Normierung der Ergebnisse beschrieben. Dieser wird genutzt, um den Einsatz
des Visualisierungswerkzeugs für den korpusübergreifenden Vergleich
von Systemkonfigurationen zu skizzieren.