Transformer: A Handful of Pages That Changed the Shape of Everything
Authors/Creators
-
1.
Universidad de Buenos Aires
-
2.
Consejo Nacional de Investigaciones Científicas y Técnicas
Description
The essay tells the history of the transformer, the architecture presented in 2017 by eight Google employees in "Attention Is All You Need". It starts from the name, from transformare and Ovid's Metamorphoses, and explains what changed: recurrent networks read in a queue, and the transformer removes recurrence so that all the words consult one another at once, like an assembly that takes advantage of parallel computation. It compares it with the pecia system of medieval copyists and with Borges's "The Aleph", where what has to be written in succession is seen all at once. It follows its descendants in BERT, GPT and image and speech models, and concludes that it won because it scaled better.
Abstract (Spanish)
El ensayo cuenta la historia del transformer, la arquitectura que ocho empleados de Google presentaron en 2017 en "Attention Is All You Need". Parte del nombre, de transformare y de las Metamorfosis de Ovidio, y explica qué cambió: las redes recurrentes leían en fila y el transformer elimina la recurrencia para que todas las palabras se consulten a la vez, como una asamblea que aprovecha el cálculo en paralelo. Lo compara con el sistema de pecia de los copistas medievales y con "El Aleph" de Borges, donde se ve en simultáneo lo que hay que escribir en sucesión. Sigue su descendencia en BERT, GPT y los modelos de imagen y voz, y concluye que ganó porque escalaba mejor.
Abstract (Italian)
Il saggio racconta la storia del transformer, l'architettura presentata nel 2017 da otto dipendenti di Google in "Attention Is All You Need". Parte dal nome, da transformare e dalle Metamorfosi di Ovidio, e spiega che cosa cambiò: le reti ricorrenti leggevano in fila, e il transformer elimina la ricorrenza perché tutte le parole si consultino a vicenda nello stesso momento, come un'assemblea che sfrutta il calcolo in parallelo. Lo confronta con il sistema della pecia dei copisti medievali e con "L'Aleph" di Borges, dove si vede simultaneamente ciò che va scritto in successione. Ne segue la discendenza in BERT, GPT e nei modelli per immagini e voce, e conclude che ha vinto perché scalava meglio.
Files
PhM_Essay18_EN.pdf
Additional details
Additional titles
- Translated title (Spanish)
- Transformer: un puñado de páginas que cambiaron la forma de todo
- Translated title (Italian)
- Transformer: una manciata di pagine che hanno cambiato la forma di tutto
Related works
- Is variant form of
- Journal article: https://phantommaze.cloud/essays/transformer-handful-of-pages/ (URL)
- Journal article: https://phantommaze.cloud/es/essays/transformer-un-punado-de-paginas/ (URL)
- Journal article: https://phantommaze.cloud/it/essays/transformer-una-manciata-di-pagine/ (URL)
- Journal article: https://phantommazeailabes.substack.com/p/transformer-un-punado-de-paginas (URL)