Published January 23, 2023 | Version v1
Working paper Open

Punktwolken. Scatterplots und Tabellen als User-Interfaces Künstlicher 'Intelligenz'

Creators

Description

Scatterplots und tabellarische Strukturen sind die wichtigsten grafischen User-Interfaces für die diagrammatische Darstellung großer Bilddatensammlungen, die mit visuellen Erkennungswerkzeugen verarbeitet wurden. In dieser Studie werden verschiedene Medienvisualisierungen als Fallbeispiele diskutiert: ARTigo (LMU München), Imgs.ai (UC Santa Barbara/Bildarchiv Foto Marburg), iArt (Universitäten München und Hannover), Vikus Viewer (FH Potsdam), und X Degrees of Separation (Google). Darüber hinaus wird untersucht, wie diese Projekte die Visualisierungsalgorithmen PCA, t-SNE und UMAP im Verhältnis zu künstlichen gewichteten Netzen wie VGG19 oder CLIP einsetzen und es werden praktische Vorschläge für eine Umgang mit den identifizierten Problemen gemacht.

Files

5 Punktwolken. Scatterplots und Tabellen als User-Interfaces Künstlicher ‚Intelligenz‘_opt.pdf

Files (5.2 MB)

Additional details

References

  • Biederman, Irving. 1987. Recognition-by-components: A theory of human image understanding. Psychological Review 94, Nr. 2 (April): 115–147. doi:10/c9dqh2
  • Bönisch, Dominik. 2021. The Curator's Machine. Clustering von musealen Sammlungsdaten durch Annotieren verdeckter Beziehungsmuster zwischen Kunstwerken. Training the Archive – Working Paper, Aachen/Dortmund. doi:10.5281/ZENODO.4604880
  • Bowker, Geoffrey C. 2014. The Theory/Data Thing Commentary. International Journal of Communication 8: 1795–1799
  • Bowker, Geoffrey C. und Susan Leigh Star. 1999. Sorting Things Out – Classification and its Consequences. Cambridge, MA: MIT Press
  • Brüggemann, Viktoria, Mark-Jan Bludau, Christopher Pietsch und Marian Dörk. 2022. Von der Wolke zum Pfad – Visuelle und assoziative Exploration zweier kultureller Sammlungen. Zenodo. doi:10.5281/ZENODO.6327939
  • Bry, François, Clemens Schefels und Corina Schemainda. 2018. Eine qualitative Analyse der ARTigo-Annotationen: Serious Games, Games With A Purpose, Suchmaschine für Kunstwerke, Kunstgeschichte, Human Computation, semantische Tiefe. Hg. von Piotr Kuroczyński, Peter Bell, und Lisa Dieckmann. Computing Art Reader: 96–114. doi:10.11588/ARTHISTORICUM.413.C5771
  • Chun, Wendy Hui Kyong. 2021. Discriminating Data – Correlation, Neighborhoods, and the new Politics of Recognition. Cambridge, MA: MIT Press
  • Correll, Michael. 2022. Bad Ideas In Visualization. Medium. 6. Januar. https://mcorrell.medium.com/bad-ideas-in-visualization-77d378148d35 (zugegriffen: 24. März 2022)
  • D. Haggerty, Kevin und Richard V. Ericson. 2000. The surveillant assemblage. British Journal of Sociology 51, Nr. 4 (1. Dezember): 605–622. doi:10.1080/00071310020015280
  • Deffebach, Nancy. 2015. María Izquierdo and Frida Kahlo: Challenging visions in modern Mexican art. Latin American and Caribbean arts and culture. Austin, TX: University of Texas Press
  • Dobson, James E. 2019. Critical Digital Humanities – The Search for a Methodology. Topics in the digital humani-ties. Urbana, Illinois: University of Illinois Press
  • Few, Stephen. 2005. Effectively Communicating Numbers – Selecting the Best Means and Manner of Display. Proclarity White Paper. https://www.perceptualedge.com/articles/Whitepapers/Communicating_Numbers.pdf
  • Few Stephen 2012. Show me the numbers. Berkeley, CA: Analytics Press
  • Friendly, Michael und Daniel Denis. 2005. The early origins and development of the scatterplot. Journal of the History of the Behavioral Sciences 41, Nr. 2: 103–130. doi:10.1002/jhbs.20078
  • Galloway, Alexander R. 2012. The Interface Effect. Cambridge: Polity Press
  • Geirhos, Robert, Patricia Rubisch, Claudio Michaelis, Matthias Bethge, Felix A. Wichmann und Wieland Brendel. 2019. ImageNet-trained CNNs are biased towards texture – increasing shape bias improves accuracy and robust-ness. arXiv:1811.12231 (14. Januar). http://arxiv.org/abs/1811.12231
  • Gitelman, Lisa. 2013. Raw data is an Oxymoron. Cambridge, MA: MIT Press
  • Glinka, Katrin, Christopher Pietsch und Marian Dörk. 2017. Von sammlungsspezifischen Visualisierungen zu nach-nutzbaren Werkzeugen. In: Books of Abstracts, hg. von Michael Stolz und Patrick Helling, 204–207. Bern. https://uclab.fh-potsdam.de/wp/wp-content/uploads/dhd2017-aus-programm.pdf
  • Hunger, Francis. 2021a. "Why so many windows?" – Wie die Bilddatensammlung ImageNet die automatisierte Bilderkennung historischer Bilder beeinflusst. Training the Archive – Working Paper 2, Aachen/Dortmund (1. Juni). doi:10.5281/ZENODO.4742621
  • Hunger, Francis 2021b. Curation and its Statistical Automation by means of Artificial "Intelligence". Training the Archive – Working Paper, Aachen/Dortmund (16. November). doi:10/gn8dn7
  • Hunger, Francis 2022. Die Form der Datenbank – Genealogien, Operationalitäten und Praxeologien relationaler Datenbanken in Ost und West. Dissertation, Weimar: Bauhaus Universität Weimar [in Vorbereitung]
  • König, Dénes. 1936. Theorie der endlichen und unendlichen Graphen. Hg. von Horst Sachs und H. Sachs. 1936 Reprint. Teubner-Archiv zur Mathematik 6. Leipzig: Teubner
  • Krämer, Sybille. 2010. Notationen Schemata und Diagramme – »Räumlichkeit« als Darstellungsprinzip. In: Notatio-nen und choreographisches Denken., hg. von Gabriele Brandstetter, Franck Hofmann, und Kirsten Maar, 29–45. Freiburg/Berlin/Wien: Rombach Verlag
  • Krämer, Sybille und Horst Bredekamp. 2003. Kultur, Technik, Kulturtechnik – Wider die Diskursivierung der Kultur. In: Bild, Schrift, Zahl., hg. von Sybille Krämer und Horst Bredekamp, 11–22. Kulturtechnik. München: Fink
  • Kubovy, Michael und Martin van den Berg. 2008. The whole is equal to the sum of its parts – A probabilistic model of grouping by proximity and similarity in regular patterns. Psychological Review 115, Nr. 1 (Januar): 131–154. doi:10/b2vw3s
  • Latour, Bruno. 1987. Science in Action – How to follow Scientists and Engineers through Society. Cambridge, MA: Harvard University Press
  • Manovich, Lev. 2020. Cultural analytics. Cambridge, MA: The MIT Press
  • McInnes, Leland, John Healy und James Melville. 2020. UMAP – Uniform Manifold Approximation and Projection for Dimension Reduction. arXiv:1802.03426 (17. September). http://arxiv.org/abs/1802.03426
  • Radford, Alec, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, u. a. 2021. Learning Transferable Visual Models From Natural Language Supervision. arXiv, 26. Februar. http://arxiv.org/abs/2103.00020
  • Russell, Henry Norris. 1914. Relations between the Spectra and Other Characteristics of Stars. In: Popular Astron-omy, 22:275–294. Mai
  • Sarikaya, Alper und Michael Gleicher. 2018. Scatterplots – Tasks, Data, and Designs. IEEE Transactions on Visuali-zation and Computer Graphics 24, Nr. 1 (Januar): 402–412. doi:10.1109/TVCG.2017.2744184
  • Schneider, Stefanie und Hubertus Kohle. 2021. Bilderlesemaschinen – Einsatzszenarien maschineller Lernverfah-ren im musealen Raum. 28. Mai, Museum and the Internet (MAI) 2021 Tagung. https://www.youtube.com/ watch?v=lsSpzjtS-rM (zugegriffen: 5. Januar 2022)
  • Simonyan, Karen und Andrew Zisserman. 2015. Very Deep Convolutional Networks for Large-Scale Image Recog-nition. arXiv:1409.1556 [cs] (10. April). http://arxiv.org/abs/1409.1556
  • Springstein, Matthias, Stefanie Schneider, Javad Rahnama, Eyke Hüllermeier, Hubertus Kohle und Ralph Ewerth. 2021. iART – A Search Engine for Art-Historical Images to Support Research in the Humanities. arXiv:2108.01542 (3. August). http://arxiv.org/abs/2108.01542
  • Taylor, Frederick Winslow. 1903. Shop Management. London, New York, NY: Harper & Brothers
  • Toshev, Alexander und Christian Szegedy. 2014. DeepPose – Human Pose Estimation via Deep Neural Networks. 2014 IEEE Conference on Computer Vision and Pattern Recognition (Juni): 1653–1660. doi:10/ggtmv3
  • Tufte, Edward R. 1983. The Visual Display of Quantitative Information. Cheshire: Graphics Press
  • Wilke, C. 2019. Fundamentals of Data Visualization – A Primer on making Informative and Compelling Figures. Sebastopol, CA: O'Reilly Media
  • Zhaoping, Li. 2019. A new framework for understanding vision from the perspective of the primary visual cortex. Current Opinion in Neurobiology 58 (Oktober): 1–10. doi:10/ghndbt