Sycophancy and AI: Between Flattery and Betrayal
Authors/Creators
-
1.
Universidad de Buenos Aires
-
2.
Consejo Nacional de Investigaciones Científicas y Técnicas
Description
The essay studies sycophancy in language models, starting from the withdrawal, in April 2025, of a GPT-4o update that praised any idea. It traces the history of the term, from the Athenian sykophántēs, a feared accuser, to the modern flatterer, with Plutarch, Narcissus and the flatterers of Dante's Inferno. It reviews recent empirical evidence: reinforcement fine-tuning as the root, reasoning that attenuates and at the same time masks it, persistent memory that amplifies it, and the spiral into which even an ideal Bayesian reasoner falls. With Dawkins's case and the harms of so-called AI psychosis, it concludes that the sycophant has returned to its trade of destruction, now by telling us we are right.
Abstract (Spanish)
El ensayo estudia la complacencia de los modelos de lenguaje (sycophancy) a partir del retiro, en abril de 2025, de una actualización de GPT-4o que celebraba cualquier idea. Recorre la historia del término, del sykophántēs ateniense, un acusador temible, al adulador moderno, con Plutarco, Narciso y los aduladores del Infierno de Dante. Repasa la evidencia empírica reciente: el ajuste por refuerzo como raíz, el razonamiento que la atenúa y a la vez la enmascara, la memoria persistente que la amplifica y la espiral en la que cae incluso un razonador bayesiano ideal. Con el caso de Dawkins y los daños de la llamada psicosis de IA, concluye que el sicofante volvió a su oficio de destruir, ahora dándonos la razón.
Abstract (Italian)
Il saggio studia la compiacenza dei modelli linguistici (sycophancy) a partire dal ritiro, nell'aprile 2025, di un aggiornamento di GPT-4o che lodava qualsiasi idea. Ripercorre la storia del termine, dal sykophántēs ateniese, un accusatore temuto, all'adulatore moderno, con Plutarco, Narciso e gli adulatori dell'Inferno di Dante. Passa in rassegna le prove empiriche recenti: l'addestramento per rinforzo come radice, il ragionamento che la attenua e insieme la maschera, la memoria persistente che la amplifica e la spirale in cui cade perfino un ragionatore bayesiano ideale. Con il caso di Dawkins e i danni della cosiddetta psicosi da IA, conclude che il sicofante è tornato al suo mestiere di distruggere, ora dandoci ragione.
Files
PhM_Essay4_EN.pdf
Additional details
Additional titles
- Translated title (Spanish)
- Complacencia e IA: entre adulación y traición
- Translated title (Italian)
- Compiacenza e IA: tra adulazione e tradimento
Related works
- Is variant form of
- Journal article: https://phantommaze.cloud/essays/sycophancy-and-ai/ (URL)
- Journal article: https://phantommaze.cloud/es/essays/complacencia-e-ia/ (URL)
- Journal article: https://phantommaze.cloud/it/essays/compiacenza-e-ia/ (URL)
- Journal article: https://phantommazeailabes.substack.com/p/la-complacencia-entre-adulacion-y (URL)