Multimodal Searches in Auction and Sales Catalogs through Structured Data

Die Datenbank „German Sales“ umfasst derzeit über 14,500 für die Provenienzforschung wichtige Auktions- und Verkaufskataloge, die vorwiegend aus dem deutschsprachigen Raum stammen und zwischen 1901 und 1945 entstanden sind. Die Kataloge enthalten u.a. Lotbeschreibungen, Abbildungen und handschriftliche Annotationen und sind aktuell im Volltext durchsuchbar. Dieser textbasierte Zugriff auf die in den Katalogen enthaltenen Informationen stellt einen großen Mehrwert dar. Veränderte Titel oder Zuschreibungen können jedoch den Sucherfolg beeinträchtigen. Um dieses Problem zu umgehen, haben sich verschiedene Arbeiten mit bildbasierten Suchansätzen beschäftigt. Konkret wurde getestet, ob sich maschinelle Lernmethoden der Bild- und Objekterkennung eignen, um eine bildbasierte Suche in den Katalogen durchzuführen – mit positivem Ergebnis [1]. Dabei sind u.a. strukturierte Daten aus den bibliographischen Angaben zu den Katalogen entstanden [2].

In unserem Vortrag zeigen wir, wie die weitere Strukturierung der Kataloginhalte auf Objektebene einen wichtigen Schritt für die Vorbereitung einer multimodalen Suche darstellt und somit einen weiteren Sucheinstieg ermöglicht. Eine multimodale Suche greift schließlich nicht isoliert auf Bild oder Text, sondern deren Kombination zurück. Zunächst motivieren wir die Aufgabe und stellen bereits existierende, bildbasierte Ansätze zur Suche in Auktions- und Verkaufskatalogen vor. Im nächsten Abschnitt werden die verschiedenen Arbeitsschritte des neuen Ansatzes vorgestellt. Dazu gehören die Detektion der Abbildungen und der dazugehörigen Lotbeschreibung sowie das Matching der beiden Teile. Schließlich erfolgt die Strukturierung des Textteils. Durch diesen Ansatz können Abbildungen mit den dazugehörigen textuellen Informationen verknüpft, und strukturierter durchsucht werden. Zusätzlich präsentieren wir, inwieweit auch handschriftliche Annotationen in den Katalogen erkannt, dem entsprechenden Lot zugeordnet und in eine strukturierte Form gebracht werden können.

Endnoten
[1] Lang, Sabine und Mathias Zinnen: Digital Provenance Research: Eine computerassistierte Bildersuche in historischen Auktionskatalogen. Digital Humanities im deutschsprachigen Raum (DHd), Bielefeld, Book of Abstracts (2025), 158-164. ; Raul Vicente-Garcia: Bildbasierte Suche in Auktionskatalogen. In: Museumskunde 89, Ausgabe 1 & 2
(2024), 32-38.
[2] Lang und Zinnen: Digital Provenance Research, 159; die strukturierten Daten wurden auf Basis folgender Bibliografien erzeugt: Britta Bommert: German Sales 1901-1929. Bibliographie der Auktionskataloge aus Deutschland, Österreich und der Schweiz. Hg. von Joachim Brand (2019), ; Astrid Bähr: German Sales 1930–1945. Bibliographie der Auktionskataloge aus Deutschland, Österreich und der Schweiz. Hg. von Joachim Brand und Moritz Wullen (2013), (2013), https://doi.org/10.11588/artdok.00002251.

Diese Präsentation ist im Rahmen der Tagung "Digital Turn. Sammlungen – Provenienzen – Märkte", die am 27. und 28. November 2025 an der Humboldt-Universität zu Berlin stattfand, entstanden.