"I Don't Know", Penalized Twice: Routed abstention as a trained disposition, and the evaluation apparatus that punishes it
Description
Language models hallucinate in part because training and evaluation reward guessing over saying “I don't know”. We argue that hallucination and sycophancy are the same failure (making up the missing fact and making up an agreement one does not have) and that the remedy is to train, in the weights, a disposition to declare the gap together with a route to resolve it.
We test the falsifiable form of this hypothesis on two third-party benchmarks, with a protocol fixed before measurement, a judge calibrated by hand and item-by-item paired comparison. Our model fabricates less than a similar base model at both sizes and on both benchmarks. On SimpleQA, 36.7% of its responses are fabricated, against 90.9% (−54.2 points, 95% CI [−55.9, −52.5]), and it says “I don't know” without being asked in 59.0% of cases, against 1.1%. The price is stated: correct answers drop from 8.0% to 4.4%. A third-party system prompt gets the base model almost as far as training does (38.0%), and together they reach 22.0%.
We also measure why the remedy is not adopted. On a public threat-intelligence benchmark, the scoring discards or zeroes declared gaps, so abstention is penalized twice: in training and in evaluation. We publish three negative results on how to measure this, verifiable requirements for systems and for conformity claims, and a sealed protocol for isolating the effect of the disposition. The trend toward zero is our research program, not a result.
Version 1.1: the English translation was redone from the Spanish original, which prevails. The results do not change.
Version 1.1.1: Spanish terminology only (“no lo sé”). The results do not change.
Abstract (Spanish)
Los modelos de lenguaje alucinan en parte porque el entrenamiento y la evaluación premian adivinar por encima de decir «no lo sé». Sostenemos que la alucinación y la sicofancia son la misma falta (inventarse el dato que falta e inventarse el acuerdo que no se tiene) y que el remedio es entrenar, en los pesos, una disposición a declarar el hueco junto con una ruta para resolverlo.
Ponemos a prueba la forma refutable de esta hipótesis con dos bancos de terceros, con un protocolo fijado antes de medir, un juez calibrado a mano y comparación pareada ítem a ítem. Nuestro modelo inventa menos que un modelo base similar en las dos tallas y en los dos bancos. En SimpleQA, el 36,7 % de sus respuestas son inventadas, frente al 90,9 % (−54,2 puntos, IC 95 % [−55,9; −52,5]), y dice «no lo sé» sin que se le pida en el 59,0 % de los casos, frente al 1,1 %. El precio se declara: los aciertos bajan del 8,0 % al 4,4 %. Una instrucción de sistema de terceros consigue en el modelo base casi lo mismo que el entrenamiento (38,0 %), y juntos bajan al 22,0 %.
También medimos por qué el remedio no se adopta. En un banco público de inteligencia de amenazas, la puntuación descarta o pone a cero los huecos declarados, así que la abstención está penalizada dos veces: en el entrenamiento y en la evaluación. Publicamos tres resultados negativos sobre cómo medir esto, requisitos verificables para los sistemas y para las declaraciones de conformidad, y un protocolo sellado para aislar el efecto de la disposición. La tendencia a cero es nuestro programa de trabajo, no un resultado.
Versión 1.1: se rehízo la traducción inglesa desde el original en español, que es el que prevalece. Los resultados no cambian.
Versión 1.1.1: la abstención se nombra «no lo sé»; nada más cambia.
Files
Salaberry-Rivera_2026_I-Dont-Know-Penalized-Twice_v1.1.1_EN_ES.pdf
Additional details
Additional titles
- Translated title (Spanish)
- El «no lo sé», penalizado dos veces: La abstención enrutada como disposición entrenada, y el aparato de evaluación que la castiga