Calibration and AI: A Ride in Phaethon's Chariot

Description

Abstract (Spanish)

El ensayo examina la falta de calibración de los modelos de lenguaje, que sostienen el mismo tono seguro cuando aciertan y cuando inventan. Parte de la etimología de "calibre" y del mito de Faetón, que midió mal su destreza para conducir el carro del Sol, y recorre la tradición de la creencia proporcionada a la evidencia: el pastorcito de Esopo, Otelo, Sócrates y Montaigne, lo probable de Cicerón, Descartes, Bernoulli, Locke, Hume, Clifford y James, y la regla de Cromwell. Pasa a la medición, del puntaje de Brier al diagrama de fiabilidad, y muestra cómo el ajuste con retroalimentación humana degrada la calibración del modelo base. Concluye que el instrumento que gradúa cuánto creerle sigue de nuestro lado.

Abstract (Italian)

Il saggio esamina la mancata calibrazione dei modelli linguistici, che mantengono lo stesso tono sicuro quando hanno ragione e quando inventano. Parte dall'etimologia di "calibre" e dal mito di Fetonte, che misurò male la propria abilità nel guidare il carro del Sole, e ripercorre la tradizione della credenza proporzionata alle prove: il pastorello di Esopo, Otello, Socrate e Montaigne, il probabile di Cicerone, Descartes, Bernoulli, Locke, Hume, Clifford e James, e la regola di Cromwell. Passa alla misurazione, dal punteggio di Brier al diagramma di affidabilità, e mostra come l'addestramento con feedback umano degradi la calibrazione del modello di base. Conclude che lo strumento per graduare quanto credergli resta dalla nostra parte.