The Inclusion of Diversity in Artificial Intelligence Systems of Medical Decision Support as Human Rights Approach in Artificial Intelligence
Article Sidebar
Article Details
This work is licensed under a Creative Commons Attribution 4.0 International License.
The publication is distributed under the Creative Commons Attribution-4.0 International (CC BY- 4.0) license. The rights to the works published in this journal are the property of the author and are free to distribute and disseminate the same sources as long as you correctly cite the source of publication.
Main Article Content
Abstract
This paper analyzes the relevance of diversity inclusion as a principle and how it can contribute to preventing bias in health care decisions supported by artificial intelligence-based systems. First, it is proposed to address the content of the principle of diversity inclusion in the different phases of the design and implementation of the systems; then it is proposed how the transversality of the principle allows to protect the most vulnerable groups against decisions supported by artificial intelligence systems in the health field. For this purpose, a review of specialized literature and the application of the dogmatic method will be used. It is hypothesized that the inclusion of diversity in a transversal way to data processing and algorithm design to support health decision making allows mitigating the risks of algorithmic discrimination, avoiding the underrepresentation of vulnerable groups.
References
Agarwal, R.; Bjarnadottir, M.; Rhue, L.; Dugas, M.; Crowley, K.; Clark, J.; y Gao, G. (2023). Addressing algorithmic bias and the perpetuation of health inequities: An AI bias aware framework. Health Policy and Technology, 12(1): pp. 100702. https://doi.org/10.1016/j.hlpt.2022.100702.
Añón Roig, M. J. (2022). Desigualdades algorítmicas: Conductas de alto riesgo para los derechos humanos. Derechos y Libertades: Revista de Filosofía del Derecho y derechos humanos, 47, pp. 17-49. https://doi.org/10.20318/dyl.2022.6872.
Barda, N.,Yona, G. Rothblum,G., Greenland, P., Leibowitz, M., Balicer, R., Bachmat, E. y Dagan, N. (2021). Addressing Bias in Prediction Models by Improving Subpopulation Calibration. Journal of the American Medical Informatics Association: JAMIA, 28(3), pp. 549-58. https://doi.org/10.1093/jamia/ocaa283.
Barrientos, F., Bozzo, S. y Jequier, E. (2023). Nuevas tecnologías para el acceso a la justicia del consumidor: Diagnóstico de la situación en chile y una propuesta a la luz de la plataforma europea online de resolución de conflictos. Revista Chilena De Derecho Y Tecnología, 12: pp. 1-35. https://doi.org/10.5354/0719-2584.2023.69963.
Bedecarratz Scholtz, F., Aravena Flores, M. (2023). Principios y directrices sobre inteligencia artificial”, en: Azuaje Pirela, Michelle. (Coord.) Introducción a la ética y el derecho de la Inteligencia Artificial. Wolters Kluwer.
Calahorrano Latorre, Edison (2025a). Equidad algorítmica y decisiones clínicas basadas en sistemas de soporte basados en inteligencia artificial. Nuevo Derecho, 21(36), 1-17. https://doi.org/10.25057/2500672X.1691.
Calahorrano Latorre, Edison (2025b). Responsabilidad respecto de los daños provocados por dispositivos médicos basados en inteligencia artificial. Argumentos para su tratamiento en sede de derechos de Consumo, en Alberto Pino y Esteban Pereira, Estudios de Derecho del Consumo. Thomson Reuters.
Cobas Cobiella, M. E. y Pérez Cobas, A. E. (2023). Medicina personalizada. Retos para el derecho, en Derecho y medicina: desafíos tecnológicos y científicos. Dykinson.
Čartolovni, A., Tomičić, A., y Lazić Mosle, E. (2022). Ethical, legal, and social considerations of AI-based medical decision-support tools: A scoping review. International Journal of Medical Informatics, 161: pp. 104738. https://doi.org/10.1016/j.ijmedinf.2022.104738.
Coddou Mc Manus, A., y Smart Larraín, S. (2021). La transparencia y la no discriminación en el Estado de bienestar digital. Revista chilena de derecho y tecnología, 10(2). https://doi.org/10.5354/0719-2584.2021.61034.
Coddou Mc Manus, A., y Padilla Parga, R. (2024). Discriminación algorítmica en los procesos automatizados de reclutamiento y selección de Personal. Revista Chilena de Derecho y Tecnología,13: pp. 1-34. https://doi.org/10.5354/0719-2584.2024.71312.
Coddou Mc Manus, A., Smart, S. y Vivallo, V. (2024). Derechos Humanos e Inteligencia Artificial: el caso chileno; en: Schönsteiner, Judith; Fuentes, Claudio; Barrera, Senead; Informe Anual de Derechos Humanos: Universidad Diego Portales.
Ferrario, A., Gloeckler, S. y Biller-Andorno, N. (2023). Ethics of the Algorithmic Prediction of Goal of Care Preferences: From Theory to Practice. Journal of Medical Ethics, 49 (3): pp. 165-74. https://doi.org/10.1136/jme-2022-108371.
Fosch-Villaronga, E., Drukarch, H., Khanna, P., Verhoef, T., Custers, B. (2022). Accounting for diversity in AI for medicine. Computer Law & Security Review, 47: p. 105735. https://doi.org/10.1016/J.CLSR.2022.105735.
Grote, T., y Keeling, G. (2022). On Algorithmic Fairness in Medical Practice. Cambridge Quarterly of Healthcare Ethics: CQ: The International Journal of Healthcare Ethics Committees, 31(1): pp. 83-94. https://doi.org/10.1017/s0963180121000839.
Grote, T. y Berens, P. (2020). On the ethics of algorithmic decision-making in healthcare. Journal of Medical Ethics, 46(3): pp. 205-211. https://doi.org/10.1136/medethics-2019-105586.
Hegde, P. Shenoy, M. M. (2021). Artificial Intelligence. Medicine and Health Sciences. Archives of Medicine and Health Sciences, 9(1), pp. 145-150. https://doi.org/10.4103/amhs.amhs_315_20.
Huang, J., Galal, G.., Etemadi, M. y Vaidyanathan, M. (2022). Evaluation and mitigation of racial bias in clinical machine learning models: Scoping review. JMIR Medical Informatics, 10(5): p. e36388. https://doi.org/10.2196/36388.
Johnson, S. (2019). AI, Machine Learning, and Ethics in Health Care. Journal of Legal Medicine, 39(4): pp. 427-441. https://doi.org/10.1080/01947648.2019.1690604.
Jones, C., Thornton, J. y Wyatt, J. (2023). Artificial intelligence and clinical decision support: clinicians’ perspectives on trust, trustworthiness, and liability. Medical Law Review, 31(4): pp. 501-520. https://doi.org/10.1093/medlaw/fwad013.
Juri, Yamila (2021). Inteligencia artificial y dignidad humana: Los desafíos para el derecho. Revista Justicia & Derecho, 4(2), 1-12. https://doi.org/10.32457/rjyd.v4i2.1350.
Karimian, G., Petelos, E. y Evers, S. (2022). The Ethical Issues Of The Application Of Artificial Intelligence In Healthcare: A Systematic Scoping Review. AI and Ethics, 2(4), pp. 539-551. https://doi.org/10.1007/S43681-021-00131-7.
Kumar, P., Chauhan, S. y Awasthi, L. (2023). Artificial intelligence in healthcare: Review, ethics, trust challenges and future research directions. Engineering Applications of Artificial Intelligence, 120: p. 105894. https://doi.org/10.1016/j.engappai.2023.105894.
Lazcoz Moratinos, G. y Castillo Parrilla, J. A. (2020). Valoración algorítmica ante los derechos humanos y el Reglamento General de Protección de Datos: el caso SyRI. Revista Chilena de Derecho y Tecnología, 9(1): pp. 207-225. https://doi.org/10.5354/07192584.2020.56843.
Lillywhite, A. y Wolbring, G. (2021). Coverage of ethics within the artificial intelligence and machine learning academic literature: The case of disabled people. Assistive Technology: The Official Journal of RESNA, 33(3): pp. 129-135. https://doi.org/10.1080/10400435.2019.1593259.
Liyanage, H., Liaw, S.-T., Jonnagaddala, J., Schreiber, R., Kuziem Sky, C. y Terry, A. (2019). Artificial intelligence in primary healthcare: perceptions, issues, and challenges. Yearb. Med. Inform, 28: pp.41-46.
Llamas, J., Mendoza, O., y Graff, M. (2022). Enfoques regulatorios para la inteligencia artificial (IA). Revista chilena de derecho, 49(3): pp. 31-62. https://dx.doi.org/10.7764/r.493.2.
Madrid, R. (2023). Las máquinas y la agencia moral, en: Azuaje Pirela, Michelle. (Coord.) Introducción a la ética y el derecho de la inteligencia artificial. Wolters Kluwer España, pp. 87-101
Martín-Casals, Miquel (2022). Desarrollo tecnológico y responsabilidad extracontractual. A propósito de los sistemas de inteligencia artificial, en: Pérez, José y Sajuán, Francisco, La Cultura Jurídica en la era digital (pp. 101-138). Aranzadi.Martín-Casals, M. (2022b). An approach to some EU initiatives on the regulation of liability for damage caused by AI-Systems. Ius et Praxis, 28(2): pp. 3-24. https://doi.org/10.4067/s0718-00122022000200003.
Martín Casals, M. (2024). Líneas generales de la nueva Directiva Europea de Responsabilidad por los daños causados por productos defectuosos, Revista Actualidad Jurídica, 50: pp. 35-76.
Molnár-Gábor, F. y Giesecke, J. (2022). Medical AI Key Elements at the International Level, en Silja Voeneky, Phillip Hellmeyer; Oliver, Mueller y Wolfram, Burgard, The Cambridge Handbook of Responsible Artificial Intelligence. Cambridge University Press pp. 379-396.
Navas, S. (2021). Salud Electrónica e Inteligencia Artificial. En Salud e Inteligencia Artificial desde el Derecho Privado. Con especial atención a la pandemia SARS COv2 COVID-19 (pp. 1-48). Comares.
Navas, S. (2022). Daños ocasionados por sistemas de inteligencia artificial: Especial atención a su futura regulación. Comares.
Perin, A. (2019). Estandarización y automatización en medicina: El deber de cuidado del profesional entre la legítima confianza y la debida prudencia. Revista Chilena de Derecho y Tecnología, 8(1): pp. 3-28. https://dx.doi.org/10.5354/0719-2584.2019.52560.
Pfohl, S., Foryciarz, A., y Shah, N. (2021). An empirical characterization of fair machine learning for clinical risk prediction. Journal of Biomedical Informatics, 113: 103621. https://doi.org/10.1016/j.jbi.2020.103621.
Prictor, M. (2023). Where does responsibility lie? Analysing legal and regulatory responses to flawed clinical decision support systems when patients suffer harm. Medical Law Review, 31(1): pp. 1-24. https://doi.org/10.1093/medlaw/fwac022.
Ramón, F. (2021). Inteligencia artificial en la relación médico-paciente: Algunas cuestiones y propuestas de mejora. Revista chilena de derecho y tecnología, 10(1): pp. 329-351. https://dx.doi.org/10.5354/0719-2584.2021.60931.
Ramón, F.(2024). Diagnóstico Médico por robots y responsabilidad civil. Lex Medicinae, 21(42): pp. 17-34. Disponible en https://bit.ly/4ntG2gc.
Recuero, M. (2024). El uso secundario de datos de salud electrónicos: El futuro Reglamento del Espacio Europeo de Datos de Salud y su interacción con la protección de datos personales. InDret, 2: pp. 525-51. https://doi.org/10.31009/InDret.2024.i2.13.
Raposo, V. (2025). The fifty shades of black: about black box AI and explainability in healthcare, Medical Law Review, 33(1): fwaf005, https://doi.org/10.1093/medlaw/fwaf005.
Smith, H., y Fotheringham, K. (2020). Artificial Intelligence in Clinical Decision-Making: Rethinking Liability. Medical Law International, 20(2): pp. 131-54. https://doi.org/10.1177/0968533220945766.
Smuha, N. Ahmed Renger, E.; Harkens, A., et.al (2021). How Can the EU Achieve a Legally Trustworthy AI: A Response to the European Commission’s Proposal for an Artificial Intelligence Act, Leads Lab University of Birmingham, 1.
Solaiman, B.; Malik, A. (2025). Regulating algorithmic care in the European Union: Evolving doctor– patient models through the Artificial Intelligence Act (AI-Act) and the liability directives. Medical Law Review, 33(1): fwae033. https://doi.org/10.1093/medlaw/fwae033.
Steerling, E. Siira, E., Nilsen, P., Svedberg, P y Nygren, J. (2023). Implementing AI in healthcare: the relevance of trust: a scoping review. Frontiers in health services, 3. https://doi.org/10.3389/frhs.2023.1211150.
Van Baalen, S. Boon, M., y Verhoef, P. (2021). From clinical decision support to clinical reasoning support systems. Journal of evaluation in clinical practice, 27(3), pp. 520-528. https://doi-org.utalca.idm.oclc.org/10.1111/jep.13541.
Walker, N. (2023). El problema de sesgo algorítmico y, en particular, el sesgo de género, en: Droguett, Carmen; Walker, Nathalie, Derecho Digital y Privacidad en América y Europa (pp. 148-161). Tirant Lo Blanch.
Normas citadas
Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial y por el que se modifican los Reglamentos (CE) n.° 300/2008, (UE) n.° 167/2013, (UE) n.° 168/2013, (UE) 2018/858, (UE) 2018/1139 y (UE) 2019/2144 y las Directivas 2014/90/UE, (UE) 2016/797 y (UE) 2020/1828
(Reglamento de Inteligencia Artificial).