European Institute for Multidisciplinary Studies on Human Rights and Science - Knowmad Institut
Published October 5, 2026 | Version FINAL
Journal article Open

Algorithmic Bias in Automated Decision Systems: Detecting and Mitigating Discrimination Using Machine Learning Fairness Frameworks on Real-World Dataset

Authors/Creators

  • 1. PVKK Institute of Technology
  • 2. St. Peter's Engineering College
  • 3. Ananthalakshmi Institute of Technology

Contributors

  • 1. ROR icon European Institute for Multidisciplinary Studies on Human Rights and Science - Knowmad Institut

Description

Algorithmic decision-making systems are increasingly deployed in consequential domains such as employment screening, credit allocation, law enforcement risk assessment, and healthcare triage. While these systems promise efficiency and objectivity, mounting empirical evidence demonstrates that they can perpetuate — and in certain cases amplify — historical patterns of discrimination against protected groups, raising fundamental human rights concerns. This paper presents a systematic empirical investigation of algorithmic bias using the UCI Adult Income dataset (n = 48,842), a benchmark widely used in the fairness literature because it encodes real-world socioeconomic inequalities. We train and evaluate four machine learning classifiers — Logistic Regression, Decision Tree, Random Forest, and Gradient Boosting — and rigorously quantify bias across gender and race using three complementary fairness metrics: Demographic Parity Difference (DPD), Equalized Odds Difference (EOD), and Demographic Parity Ratio (DPR). Three bias mitigation techniques are then applied and compared: two post-processing ThresholdOptimizer variants targeting Demographic Parity and Equalized Odds constraints respectively, and an in-processing Exponentiated Gradient reduction with a Demographic Parity constraint.

Results reveal that all baseline classifiers exhibit severe gender-based selection disparities, with Demographic Parity Ratios ranging from 0.18 to 0.38 — far below the 0.8 adverse impact threshold — despite achieving strong predictive accuracy between 82.4% and 87.7%. Post-processing mitigation achieves a 94.4% DPD reduction (from 0.1473 to 0.0083) for the Demographic Parity-constrained ThresholdOptimizer, pushing the DPR to 0.977, at an accuracy cost of 7.4 percentage points. In-processing via Exponentiated Gradient yields a 92.0% DPD reduction against its logistic regression baseline (from 0.1707 to 0.0136) with a substantially smaller accuracy cost of only 1.9 percentage points, though with a different fairness profile. These findings indicate that substantial fairness improvement is technically feasible on this benchmark. All disparity and mitigation estimates are accompanied by bootstrap 95% confidence intervals and five-fold cross-validation, both of which confirm that the baseline disparities and their reduction under mitigation are statistically robust rather than artefacts of a particular data partition. We interpret the observed statistical disparities in the light of human rights and regulatory debates while emphasising that establishing discrimination in a legal sense would require contextual evidence beyond the scope of a technical audit.

Abstract (Spanish)

Los sistemas algorítmicos de toma de decisiones se utilizan cada vez más en ámbitos de gran trascendencia, como la preselección de personal, la asignación de crédito, la evaluación de riesgos en el ámbito de la justicia penal y el triaje sanitario. Aunque estos sistemas prometen eficiencia y objetividad, una creciente evidencia empírica demuestra que pueden perpetuar (y, en determinados casos, amplificar) patrones históricos de discriminación contra grupos protegidos, lo que plantea preocupaciones fundamentales en materia de derechos humanos. Este artículo presenta una investigación empírica sistemática del sesgo algorítmico utilizando el conjunto de datos UCI Adult Income (n = 48.842), un conjunto de referencia ampliamente utilizado en la literatura sobre equidad algorítmica porque codifica desigualdades socioeconómicas presentes en el mundo real.
Entrenamos y evaluamos cuatro clasificadores de aprendizaje automático —regresión logística, árbol de decisión, bosque aleatorio y potenciación del gradiente (Gradient Boosting)— y cuantificamos rigurosamente el sesgo por género y raza mediante tres métricas complementarias de equidad: Diferencia de Paridad Demográfica (DPD), Diferencia de Igualdad de Probabilidades (EOD) y Razón de Paridad Demográfica (DPR). A continuación, se aplican y comparan tres técnicas de mitigación del sesgo: dos variantes de posprocesamiento de ThresholdOptimizer orientadas, respectivamente, a restricciones de Paridad Demográfica y de Igualdad de Probabilidades, y una reducción mediante Exponentiated Gradient como técnica de in-processing con una restricción de Paridad Demográfica.

Los resultados muestran que todos los clasificadores de referencia presentan graves disparidades de selección basadas en el género, con Razones de Paridad Demográfica comprendidas entre 0,18 y 0,38 (muy por debajo del umbral de impacto adverso de 0,8), a pesar de alcanzar una elevada exactitud predictiva de entre el 82,4 % y el 87,7 %. La mitigación mediante posprocesamiento logra una reducción del 94,4 % en la DPD (de 0,1473 a 0,0083) con ThresholdOptimizer sujeto a una restricción de Paridad Demográfica, elevando la DPR hasta 0,977, con un coste de 7,4 puntos porcentuales de exactitud. El procesamiento mediante Exponentiated Gradient produce una reducción del 92,0 % en la DPD respecto de su modelo de referencia de regresión logística (de 0,1707 a 0,0136), con un coste de exactitud considerablemente menor, de apenas 1,9 puntos porcentuales, aunque con un perfil de equidad diferente. Estos hallazgos indican que es técnicamente viable lograr mejoras sustanciales de equidad en este conjunto de referencia. Todas las estimaciones de disparidad y mitigación se acompañan de intervalos de confianza del 95 % obtenidos mediante bootstrap y de validación cruzada de cinco pliegues; ambos procedimientos confirman que las disparidades de referencia y su reducción tras la mitigación son estadísticamente robustas y no artefactos de una partición específica de los datos. Interpretamos las disparidades estadísticas observadas a la luz de los debates sobre derechos humanos y regulación, al tiempo que subrayamos que establecer la existencia de discriminación en sentido jurídico requeriría evidencia contextual que excede el alcance de una auditoría técnica.

Abstract (German)

Algorithmische Entscheidungssysteme werden zunehmend in folgenreichen Anwendungsbereichen eingesetzt, etwa bei der Vorauswahl von Bewerberinnen und Bewerbern, der Kreditvergabe, der Risikobewertung im Bereich der Strafverfolgung und der medizinischen Triage. Obwohl diese Systeme Effizienz und Objektivität versprechen, zeigt eine wachsende Zahl empirischer Befunde, dass sie historische Diskriminierungsmuster gegenüber geschützten Personengruppen fortschreiben und in bestimmten Fällen sogar verstärken können. Daraus ergeben sich grundlegende menschenrechtliche Bedenken. Dieser Beitrag präsentiert eine systematische empirische Untersuchung algorithmischer Verzerrungen anhand des UCI-Adult-Income-Datensatzes (n = 48.842), eines in der Fairness-Forschung häufig verwendeten Benchmark-Datensatzes, da er reale sozioökonomische Ungleichheiten abbildet.

Wir trainieren und evaluieren vier Klassifikatoren des maschinellen Lernens — logistische Regression, Entscheidungsbaum, Random Forest und Gradient Boosting — und quantifizieren Verzerrungen in Bezug auf Geschlecht und ethnisch-rassische Zuordnung anhand von drei komplementären Fairness-Metriken: Demographic Parity Difference (DPD), Equalized Odds Difference (EOD) und Demographic Parity Ratio (DPR). Anschließend werden drei Verfahren zur Minderung algorithmischer Verzerrungen angewandt und miteinander verglichen: zwei Post-Processing-Varianten des ThresholdOptimizer, die jeweils auf Demographic-Parity- bzw. Equalized-Odds-Beschränkungen ausgerichtet sind, sowie ein In-Processing-Verfahren mittels Exponentiated Gradient mit einer Demographic-Parity-Beschränkung.

Die Ergebnisse zeigen, dass sämtliche Baseline-Klassifikatoren erhebliche geschlechtsbezogene Disparitäten bei den Selektionsraten aufweisen. Die Demographic Parity Ratios liegen zwischen 0,18 und 0,38 und damit deutlich unter dem Schwellenwert von 0,8 für nachteilige Auswirkungen (adverse impact), obwohl die Modelle eine hohe Vorhersagegenauigkeit zwischen 82,4 % und 87,7 % erreichen. Das Post-Processing mit einem auf Demographic Parity beschränkten ThresholdOptimizer reduziert die DPD um 94,4 % (von 0,1473 auf 0,0083) und erhöht die DPR auf 0,977; dies geht mit einem Verlust von 7,4 Prozentpunkten bei der Vorhersagegenauigkeit einher. Das In-Processing mittels Exponentiated Gradient erzielt gegenüber der Baseline der logistischen Regression eine Verringerung der DPD um 92,0 % (von 0,1707 auf 0,0136), wobei der Genauigkeitsverlust mit lediglich 1,9 Prozentpunkten deutlich geringer ausfällt, allerdings bei einem anderen Fairness-Profil. Diese Ergebnisse zeigen, dass auf diesem Benchmark-Datensatz erhebliche Verbesserungen der algorithmischen Fairness technisch realisierbar sind. Sämtliche Schätzungen zu Disparitäten und Mitigation werden durch 95-%-Konfidenzintervalle auf Grundlage von Bootstrap-Verfahren sowie durch eine fünffache Kreuzvalidierung ergänzt. Beide Analysen bestätigen, dass sowohl die Disparitäten der Baseline-Modelle als auch deren Verringerung durch die Mitigationsverfahren statistisch robust sind und keine Artefakte einer bestimmten Datenpartition darstellen. Die beobachteten statistischen Disparitäten werden vor dem Hintergrund menschenrechtlicher und regulatorischer Debatten interpretiert. Zugleich wird betont, dass die Feststellung von Diskriminierung im rechtlichen Sinne kontextbezogene Evidenz erfordern würde, die über den Gegenstandsbereich eines technischen Audits hinausgeht.
 

Files

EN_Algorithmic Bias in Automated Decision Systems_JMSHRS_Vol8_N05.pdf

Files (7.9 MB)

Name Size
md5:cbb9d6d96f86633ae76d6fb1d6c7e576
993.1 kB Download
md5:de40f094d08f3b0b92b221f9db72cf88
429.3 kB Preview Download
md5:6c7920e72cd41f5bf10c29afb6b02f0b
1.6 MB Preview Download
md5:8e32f0a32e37207a89ca39c28080945b
882.4 kB Preview Download
md5:688c15091078b7b101c2469d6ebec0b0
994.8 kB Download
md5:5994209ecbfef892f3ec9a732dcd8a76
441.2 kB Preview Download
md5:49046117ad212e9154578178c5c7a028
1.7 MB Preview Download
md5:f0f442e7be419dc127f09b920c854711
883.9 kB Preview Download

Additional details

Additional titles

Translated title (Spanish)
Sesgo algorítmico en sistemas automatizados de toma de decisiones: detección y mitigación de la discriminación mediante marcos de equidad del aprendizaje automático aplicados a conjuntos de datos del mundo real
Translated title (German)
Algorithmische Verzerrungen in automatisierten Entscheidungssystemen: Erkennung und Minderung von Diskriminierung mithilfe von Fairness-Frameworks des maschinellen Lernens auf realen Datensätzen

Identifiers

URN
urn:nbn:de:101:1-2610151505347.571144451987
URL
https://knowmadinstitut.org/journal/jms/article/view/117/

Related works

Is supplemented by
Video/Audio: 10.5281/zenodo.23317576 (DOI)

References

  • Agarwal, A., Beygelzimer, A., Dudík, M., Langford, J., & Wallach, H. (2018). A reductions approach to fair classification. Proceedings of the 35th International Conference on Machine Learning, PMLR 80, 60–69.
  • Angwin, J., Larson, J., Mattu, S., & Kirchner, L. (2016). Machine bias: There's software used across the country to predict future criminals. And it's biased against blacks. ProPublica. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
  • Barocas, S., Hardt, M., & Narayanan, A. (2019). Fairness and machine learning: Limitations and opportunities. fairmlbook.org. https://fairmlbook.org
  • Becker, B., & Kohavi, R. (1996). Adult [Dataset]. UCI Machine Learning Repository. https://doi.org/10.24432/C5XW20
  • Bird, S., Dudik, M., Edgar, R., Horn, B., Lutz, R., Milan, V., Sameki, M., Wallach, H., & Walker, K. (2020). Fairlearn: A toolkit for assessing and improving fairness in AI. Microsoft Research. https://www.microsoft.com/en-us/research/publication/fairlearn-a-toolkit-for-assessing-and-improving-fairness-in-ai/
  • Bolukbasi, T., Chang, K. W., Zou, J. Y., Saligrama, V., & Kalai, A. T. (2016). Man is to computer programmer as woman is to homemaker? Debiasing word embeddings. Advances in Neural Information Processing Systems, 29.
  • Caton, S., & Haas, C. (2023). Fairness in machine learning: A survey. ACM Computing Surveys, 56(7), 1–38. https://doi.org/10.1145/3616865
  • Chouldechova, A. (2017). Fair prediction with disparate impact: A study of bias in recidivism prediction instruments. Big Data, 5(2), 153–163.
  • Dastin, J. (2018, October 10). Amazon scraps secret AI recruiting tool that showed bias against women. Reuters.
  • Dressel, J., & Farid, H. (2018). The accuracy, fairness, and limits of predicting recidivism. Science Advances, 4(1), eaao5580.
  • Feldman, M., Friedler, S. A., Moeller, J., Scheidegger, C., & Venkatasubramanian, S. (2015). Certifying and removing disparate impact. Proceedings of the 21st ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 259–268.
  • Hardt, M., Price, E., & Srebro, N. (2016). Equality of opportunity in supervised learning. Advances in Neural Information Processing Systems, 29.
  • Kamiran, F., & Calders, T. (2012). Data preprocessing techniques for classification without discrimination. Knowledge and Information Systems, 33(1), 1–33.
  • Kearns, M., & Roth, A. (2019). The ethical algorithm: The science of socially aware algorithm design. Oxford University Press.
  • Kleinberg, J., Mullainathan, S., & Raghavan, M. (2017). Inherent trade-offs in the fair determination of risk scores. Proceedings of Innovations in Theoretical Computer Science (ITCS 2017).
  • Kusner, M. J., Loftus, J., Russell, C., & Silva, R. (2017). Counterfactual fairness. Advances in Neural Information Processing Systems, 30, 4066–4076.
  • Obermeyer, Z., Powers, B., Vogeli, C., & Mullainathan, S. (2019). Dissecting racial bias in an algorithm used to manage the health of populations. Science, 366(6464), 447–453.
  • Raso, F. A., Hilligoss, H., Krishnamurthy, V., Bavitz, C., & Kim, L. (2018). Artificial intelligence & human rights: Opportunities & risks. Berkman Klein Center for Internet & Society Research Publication. https://doi.org/10.2139/ssrn.3259344
  • Zafar, M. B., Valera, I., Rodriguez, M. G., & Gummadi, K. P. (2017). Fairness beyond disparate treatment & disparate impact: Learning classification without disparate mistreatment. Proceedings of the 26th International Conference on World Wide Web, 1171–1180.
  • Zhang, B. H., Lemoine, B., & Mitchell, M. (2018). Mitigating unwanted biases with adversarial learning. Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society, 335–340.