DH on the Edge?

Mit Tiny ML, Edge AI oder Efficient AI etabliert sich parallel zu LLMs ein Forschungsfeld, das auf die Entwicklung kleiner, energie- und kosteneffizienter und lokal ausführbarer Deep-Learning-Modelle abzielt. Zentral ist hier das Deployment auf Edge Devices (z.B. Mikrocontroller, Raspberrry Pi, Smartwatches etc.). Für die DH ergeben sich Vorteile primär aus der Möglichkeit der dezentralen Datenverarbeitung direkt am Erfassungsort sowie der leichteren und günstigeren Verfügbarkeit von entsprechender Hardware gegenüber HPC-Infrastruktur oder fremdgehosteten, potentiell kostenpflichtigen LLMs, z.B. in archäologischer Feldforschung, partizipativen Citizen-Science- oder Oral-History-Projekten oder im Bereich des kulturellen Erbes. Für diesen Beitrag wurden Mistral, BERT und mehrere komprimierte und quantisierte BERT-Modelle im Kontext eines Named-Entity-Recognition-Tasks miteinander verglichen. Dabei zeigte sich, dass komprimierte Modelle nur marginal an Performance verlieren, aber deutlich kleiner und schneller sind, sodass Edge Deployment vorstellbar ist. Die Performance von Mistral war in diesem Beispiel deutlich schlechter als die Performance der spezialiserten BERT-Modelle.