Published January 17, 2026 | Version v1
Publication Open

Attention is all you need

Authors/Creators

  • 1. ROR icon Schwyz University of Teacher Education

Description

«Attention is all you need» («Aufmerksamkeit ist alles, was man braucht») lautet der Titel eines  wissenschaftlichen Artikels, der zu den meistzitierten gehört, obwohl er noch keine zehn Jahre alt ist. Er beschreibt, wie Machine-Learning-Systeme wie ChatGPT in einem Text wichtige von unwichtigen Wörtern unterscheiden können. Das im Artikel beschriebene mathematische Verfahren ist mitverantwortlich für die massive Leistungssteigerung solcher Systeme in den letzten Jahren. «Attention» ist aber nicht nur ein aktuelles Konzept in der Informatik, sondern lässt sich auch nutzen, um die heutige Zeit zu verstehen.

Files

2026-doebeli-honegger-attention-is-all-you-need.pdf

Files (86.4 kB)

Additional details