Published June 1, 2021 | Version v1
Working paper Open

"Why so many windows?" – Wie die Bilddatensammlung ImageNet die automatisierte Bilderkennung historischer Bilder beeinflusst.

  • 1. Bauhaus Universität, Weimar

Description

Im Feld der automatisierten Bilderkennung, der sogenannten Computer Vision, beziehungsweise Künstlichen ‚Intelligenz‘, hat die Bilddatensammlung ImageNet eine zentrale Rolle als Trainingsdatensatz inne. Für das Forschungsprojekt Training The Archive, welches Methoden der Digital Humanities für das Kuratieren von Kunst verfügbar machen soll, wird erörtert, in welchem Maße ImageNet den Software-Prototypen The Curator’s Machine beeinflusst. The Curator’s Machine soll Zusammenhänge und Verbindungen zwischen Kunstwerken für Kurator*innen erschließen. Es ist bekannt, dass die Trainingsdatensätze ‚neuronaler‘ Netze für Verzerrungen (Bias) in den Ergebnissen sorgen. Wie das in zeitgenössischen Bilderwelten verankterte ImageNet auf zeitgenössische und historischer Kunstwerke einwirkt, erläutert der Text, indem er 1.) die Abwesenheit der Klassifikation ‚Kunst‘ in ImageNet untersucht, 2.) die fehlende Historizität von ImageNet hinterfragt und 3.) das Verhältnis von Textur und Umriss in automatisierter Bilderkennung mit ImageNet diskutiert. Diese Untersuchung ist wichtig für die genealogische, kunsthistorische und programmiertechnische Verwendung von ImageNet in den Feldern des Kuratierens, der Kunstgeschichte, der Kunstwissenschaften und der Digital Humanities.

Notes

Training the Archive – Working Paper Series

Files

Francis Hunger – Why so many windows.pdf

Files (3.5 MB)

Name Size Download all
md5:d7d673a8fda40ffff57924caaa91bff3
3.5 MB Preview Download

Additional details

Related works

Cites
Journal article: 10.5281/zenodo.4604880 (DOI)

References

  • Bönisch, Dominik. 2021. The Curator's Machine. Clustering von musealen Sammlungsdaten durch Annotieren verdeckter Beziehungsmuster zwischen Kunstwerken. Training the Archive – Working Paper, Aachen/Dortmund. 10.5281/zenodo.4604880
  • Bowker, Geoffrey C. und Susan Leigh Star. 1999. Sorting Things Out – Classification and Its Consequences. Cambridge, MA: MIT Press
  • Broeckmann, Andreas. 2016. Machine art in the Twentieth Century. Leonardo Book Series. Cambridge, MA: MIT Press
  • Burrell, Jenna. 2016. How the Machine 'thinks' – Understanding Opacity in Machine Learning Algorithms. Big Data & Society 3, Nr. 1 (5. Januar). 10.1177/2053951715622512
  • Cardon, Dominique, Jean-Philippe Cointet und Antoine Mazieres. 2018. Neurons spike back: The Invention of inductive Machines and the Artificial Intelligence Controversy. Reseaux 36, Nr. 211: 173–220. 10.3917/res.211. 0173
  • Crawford, Kate und Trevor Paglen. 2019. Excavating AI – The Politics of Images in Machine Learning Training Sets. Website. Excavating AI. 19. September. https://www.excavating.ai (zugegriffen: 12. Mai 2020)
  • Gatys, Leon A., Alexander S. Ecker und Matthias Bethge. 2015. A Neural Algorithm of Artistic Style. arXiv (2. September). http://arxiv.org/abs/1508.06576
  • Geirhos, Robert, Patricia Rubisch, Claudio Michaelis, Matthias Bethge, Felix A. Wichmann und Wieland Brendel. 2019. ImageNet-trained CNNs are biased towards texture – increasing shape bias improves accuracy and robust-ness. arXiv (14. Januar). http://arxiv.org/abs/1811.12231
  • Goodfellow, Ian J., Jonathon Shlens und Christian Szegedy. 2015. Explaining and Harnessing Adversarial Examples. arXiv (20. März). http://arxiv.org/abs/1412.6572
  • Graham, Beryl und Sarah Cook. 2010. Rethinking Curating – Art after New Media. Leonardo. Cambridge, MA: MIT Press
  • Hanna, Alex, Emily Denton, Razvan Amironesei, Andrew Smart und Hilary Nicole. 2020. Lines of Sight. Logic Magazine. Dezember. https://logicmag.io/commons/lines-of-sight (zugegriffen: 26. Februar 2021)
  • Hayles, Katherine. 2005. Computing the Human. Theory, Culture & Society 22, Nr. 1: 131–151. 10.1177/0263276 405048438
  • Huh, Minyoung, Pulkit Agrawal und Alexei A. Efros. 2016. What makes ImageNet good for transfer learning? arXiv (10. Dezember). http://arxiv.org/abs/1608.08614
  • Kornblith, Simon, Jonathon Shlens und Quoc V. Le. 2019. Do Better ImageNet Models Transfer Better? arXiv (17. Juni). http://arxiv.org/abs/1805.08974
  • Krizhevsky, Alex, Ilya Sutskever und Geoffrey E. Hinton. 2012. ImageNet Classification with Deep Convolutional Neural Networks. In: Proceedings of the 25th International Conference on Neural Information Processing Systems, Volume 1, 1097–1105. NIPS'12. USA: Curran Associates Inc
  • Li, Fei-Fei, Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, und Kai Li. 2009. ImageNet: A large-scale hierarchical image database. In: 2009 IEEE Conference on Computer Vision and Pattern Recognition, 248–255. Miami, FL: IEEE, Juni. 10.1109/CVPR.2009.5206848, https://ieeexplore.ieee.org/document/5206848 (zugegriffen: 12. Mai 2020)
  • Malevé, Nicolas. 2020. On the data set's ruins. AI & SOCIETY. 10.1007/s00146-020-01093-w
  • Munn, Luke. 2020. Logic of Feeling – Technology's Quest to capitalize Emotion. Lanham: Rowman & Littlefield
  • Noble, Safiya Umoja. 2018. Algorithms of Oppression – How Search Engines reinforce Racism. New York: New York University Press
  • Offert, Fabian und Peter Bell. 2020. Perceptual Bias and technical Metapictures – Critical Machine Vision as a Humanities Challenge. AI & SOCIETY (12. Oktober). 10.1007/s00146-020-01058-z
  • Parikka, Jussi. 2021. On Seeing Where There's Nothing to See – Practices of Light beyond Photography. In: Photo-graphy off the Scale – Technologies and Theories of the Mass Image, hg. von Jussi Parikka, 185–210. Edinburgh: Edinburgh University Press
  • Pasquinelli, Matteo. 2019. How a Machine Learns and Fails – A Grammar of Error for Artificial Intelligence. Spheres. Journal for Digital Cultures., Nr. 5 (November): 1–17
  • Pereira, Gabriel und Bruno Moreschi. 2020. Artificial Intelligence and Institutional Critique – Unexpected Ways of seeing with Computer Vision. AI & SOCIETY (14. September). 10.1007/s00146-020-01059-y
  • Rosenblatt, Frank. 1957. The Perceptron – A perceiving and recognizing Automation. Buffalo, NY: Cornell Aero-nautical Laboratory
  • Sauerländer, Willibald. 1970. Gothic Sculpture in France, 1140-1270. New York, NY: Harry N. Abrams
  • Lee, Rosemary. 2020. Machine Learning and Notions of the Image. Dissertation, Copenhagen: Center for Comput-er Games Research, Department of Digital Design, IT-University of Copenhagen. https://en.itu.dk/~/ media/en/research/phd-programme/phd-defences/2020/phd-thesis-final-version-rosemary-lee-pdf.pdf?la=en
  • Schmitt, Philipp. 2019. Declassifier. Website. Humans of AI. https://humans-of.ai (zugegriffen: 9. März 2021)
  • Stack, John. 2019. What the Machine saw. Website. https://johnstack.github.io/what-the-machine-saw (zugegrif-fen: 9. März 2021)
  • Stinson, Catherine. 2020. The Dark Past of Algorithms that associate Appearance and Criminality – Machine Learning that links Personality and physical Traits warrants critical review. Online Publication. American Scientist. 2. Dezember. https://www.americanscientist.org/article/the-dark-past-of-algorithms-that-associate-appearance-and-criminality (zugegriffen: 24. April 2021)
  • Yosinski, Jason, Jeff Clune, Yoshua Bengio und Hod Lipson. 2014. How transferable are Features in Deep Neural Networks? arXiv (6. November). http://arxiv.org/abs/1411.1792