La inclusión de la diversidad en los sistemas de inteligencia artificial de soporte a decisiones sanitarias como manifestación del enfoque de derechos humanos
Barra lateral del artículo
Detalles del artículo
Esta obra está bajo una licencia internacional Creative Commons Atribución 4.0.
La publicación se distribuye bajo la licencia Creative Commons Attribution-4.0 International (CC BY- 4.0). Los derechos de los trabajos publicados en esta revista son propiedad del autor y son libres de distribuir y difundir las mismas fuentes siempre que cite correctamente la fuente de publicación.
Contenido principal del artículo
Resumen
En este trabajo se analiza la relevancia de la inclusión de la diversidad como principio y la manera en que puede aportar en prevenir sesgos en las decisiones sanitarias apoyadas por sistemas basados en inteligencia artificial. En primer lugar, se propone abordar el contenido del principio de inclusión a la diversidad en las distintas fases de diseño e implementación de los sistemas; posteriormente, se propone que la transversalidad del principio permite proteger a los grupos más vulnerables frente a decisiones apoyadas por sistemas de inteligencia artificial en el ámbito sanitario. Para esto se recurrirá a la revisión de literatura especializada y la aplicación del método dogmático. Se plantea la hipótesis de que la inclusión de la diversidad de forma transversal al procesamiento de los datos y diseño del algoritmo para soporte en la toma de decisiones sanitarias permite mitigar riesgos de discriminación algorítmica, evitando la subrepresentación de grupos vulnerables.
Citas
Agarwal, R.; Bjarnadottir, M.; Rhue, L.; Dugas, M.; Crowley, K.; Clark, J.; y Gao, G. (2023). Addressing algorithmic bias and the perpetuation of health inequities: An AI bias aware framework. Health Policy and Technology, 12(1): pp. 100702. https://doi.org/10.1016/j.hlpt.2022.100702.
Añón Roig, M. J. (2022). Desigualdades algorítmicas: Conductas de alto riesgo para los derechos humanos. Derechos y Libertades: Revista de Filosofía del Derecho y derechos humanos, 47, pp. 17-49. https://doi.org/10.20318/dyl.2022.6872.
Barda, N.,Yona, G. Rothblum,G., Greenland, P., Leibowitz, M., Balicer, R., Bachmat, E. y Dagan, N. (2021). Addressing Bias in Prediction Models by Improving Subpopulation Calibration. Journal of the American Medical Informatics Association: JAMIA, 28(3), pp. 549-58. https://doi.org/10.1093/jamia/ocaa283.
Barrientos, F., Bozzo, S. y Jequier, E. (2023). Nuevas tecnologías para el acceso a la justicia del consumidor: Diagnóstico de la situación en chile y una propuesta a la luz de la plataforma europea online de resolución de conflictos. Revista Chilena De Derecho Y Tecnología, 12: pp. 1-35. https://doi.org/10.5354/0719-2584.2023.69963.
Bedecarratz Scholtz, F., Aravena Flores, M. (2023). Principios y directrices sobre inteligencia artificial”, en: Azuaje Pirela, Michelle. (Coord.) Introducción a la ética y el derecho de la Inteligencia Artificial. Wolters Kluwer.
Calahorrano Latorre, Edison (2025a). Equidad algorítmica y decisiones clínicas basadas en sistemas de soporte basados en inteligencia artificial. Nuevo Derecho, 21(36), 1-17. https://doi.org/10.25057/2500672X.1691.
Calahorrano Latorre, Edison (2025b). Responsabilidad respecto de los daños provocados por dispositivos médicos basados en inteligencia artificial. Argumentos para su tratamiento en sede de derechos de Consumo, en Alberto Pino y Esteban Pereira, Estudios de Derecho del Consumo. Thomson Reuters.
Cobas Cobiella, M. E. y Pérez Cobas, A. E. (2023). Medicina personalizada. Retos para el derecho, en Derecho y medicina: desafíos tecnológicos y científicos. Dykinson.
Čartolovni, A., Tomičić, A., y Lazić Mosle, E. (2022). Ethical, legal, and social considerations of AI-based medical decision-support tools: A scoping review. International Journal of Medical Informatics, 161: pp. 104738. https://doi.org/10.1016/j.ijmedinf.2022.104738.
Coddou Mc Manus, A., y Smart Larraín, S. (2021). La transparencia y la no discriminación en el Estado de bienestar digital. Revista chilena de derecho y tecnología, 10(2). https://doi.org/10.5354/0719-2584.2021.61034.
Coddou Mc Manus, A., y Padilla Parga, R. (2024). Discriminación algorítmica en los procesos automatizados de reclutamiento y selección de Personal. Revista Chilena de Derecho y Tecnología,13: pp. 1-34. https://doi.org/10.5354/0719-2584.2024.71312.
Coddou Mc Manus, A., Smart, S. y Vivallo, V. (2024). Derechos Humanos e Inteligencia Artificial: el caso chileno; en: Schönsteiner, Judith; Fuentes, Claudio; Barrera, Senead; Informe Anual de Derechos Humanos: Universidad Diego Portales.
Ferrario, A., Gloeckler, S. y Biller-Andorno, N. (2023). Ethics of the Algorithmic Prediction of Goal of Care Preferences: From Theory to Practice. Journal of Medical Ethics, 49 (3): pp. 165-74. https://doi.org/10.1136/jme-2022-108371.
Fosch-Villaronga, E., Drukarch, H., Khanna, P., Verhoef, T., Custers, B. (2022). Accounting for diversity in AI for medicine. Computer Law & Security Review, 47: p. 105735. https://doi.org/10.1016/J.CLSR.2022.105735.
Grote, T., y Keeling, G. (2022). On Algorithmic Fairness in Medical Practice. Cambridge Quarterly of Healthcare Ethics: CQ: The International Journal of Healthcare Ethics Committees, 31(1): pp. 83-94. https://doi.org/10.1017/s0963180121000839.
Grote, T. y Berens, P. (2020). On the ethics of algorithmic decision-making in healthcare. Journal of Medical Ethics, 46(3): pp. 205-211. https://doi.org/10.1136/medethics-2019-105586.
Hegde, P. Shenoy, M. M. (2021). Artificial Intelligence. Medicine and Health Sciences. Archives of Medicine and Health Sciences, 9(1), pp. 145-150. https://doi.org/10.4103/amhs.amhs_315_20.
Huang, J., Galal, G.., Etemadi, M. y Vaidyanathan, M. (2022). Evaluation and mitigation of racial bias in clinical machine learning models: Scoping review. JMIR Medical Informatics, 10(5): p. e36388. https://doi.org/10.2196/36388.
Johnson, S. (2019). AI, Machine Learning, and Ethics in Health Care. Journal of Legal Medicine, 39(4): pp. 427-441. https://doi.org/10.1080/01947648.2019.1690604.
Jones, C., Thornton, J. y Wyatt, J. (2023). Artificial intelligence and clinical decision support: clinicians’ perspectives on trust, trustworthiness, and liability. Medical Law Review, 31(4): pp. 501-520. https://doi.org/10.1093/medlaw/fwad013.
Juri, Yamila (2021). Inteligencia artificial y dignidad humana: Los desafíos para el derecho. Revista Justicia & Derecho, 4(2), 1-12. https://doi.org/10.32457/rjyd.v4i2.1350.
Karimian, G., Petelos, E. y Evers, S. (2022). The Ethical Issues Of The Application Of Artificial Intelligence In Healthcare: A Systematic Scoping Review. AI and Ethics, 2(4), pp. 539-551. https://doi.org/10.1007/S43681-021-00131-7.
Kumar, P., Chauhan, S. y Awasthi, L. (2023). Artificial intelligence in healthcare: Review, ethics, trust challenges and future research directions. Engineering Applications of Artificial Intelligence, 120: p. 105894. https://doi.org/10.1016/j.engappai.2023.105894.
Lazcoz Moratinos, G. y Castillo Parrilla, J. A. (2020). Valoración algorítmica ante los derechos humanos y el Reglamento General de Protección de Datos: el caso SyRI. Revista Chilena de Derecho y Tecnología, 9(1): pp. 207-225. https://doi.org/10.5354/07192584.2020.56843.
Lillywhite, A. y Wolbring, G. (2021). Coverage of ethics within the artificial intelligence and machine learning academic literature: The case of disabled people. Assistive Technology: The Official Journal of RESNA, 33(3): pp. 129-135. https://doi.org/10.1080/10400435.2019.1593259.
Liyanage, H., Liaw, S.-T., Jonnagaddala, J., Schreiber, R., Kuziem Sky, C. y Terry, A. (2019). Artificial intelligence in primary healthcare: perceptions, issues, and challenges. Yearb. Med. Inform, 28: pp.41-46.
Llamas, J., Mendoza, O., y Graff, M. (2022). Enfoques regulatorios para la inteligencia artificial (IA). Revista chilena de derecho, 49(3): pp. 31-62. https://dx.doi.org/10.7764/r.493.2.
Madrid, R. (2023). Las máquinas y la agencia moral, en: Azuaje Pirela, Michelle. (Coord.) Introducción a la ética y el derecho de la inteligencia artificial. Wolters Kluwer España, pp. 87-101
Martín-Casals, Miquel (2022). Desarrollo tecnológico y responsabilidad extracontractual. A propósito de los sistemas de inteligencia artificial, en: Pérez, José y Sajuán, Francisco, La Cultura Jurídica en la era digital (pp. 101-138). Aranzadi.Martín-Casals, M. (2022b). An approach to some EU initiatives on the regulation of liability for damage caused by AI-Systems. Ius et Praxis, 28(2): pp. 3-24. https://doi.org/10.4067/s0718-00122022000200003.
Martín Casals, M. (2024). Líneas generales de la nueva Directiva Europea de Responsabilidad por los daños causados por productos defectuosos, Revista Actualidad Jurídica, 50: pp. 35-76.
Molnár-Gábor, F. y Giesecke, J. (2022). Medical AI Key Elements at the International Level, en Silja Voeneky, Phillip Hellmeyer; Oliver, Mueller y Wolfram, Burgard, The Cambridge Handbook of Responsible Artificial Intelligence. Cambridge University Press pp. 379-396.
Navas, S. (2021). Salud Electrónica e Inteligencia Artificial. En Salud e Inteligencia Artificial desde el Derecho Privado. Con especial atención a la pandemia SARS COv2 COVID-19 (pp. 1-48). Comares.
Navas, S. (2022). Daños ocasionados por sistemas de inteligencia artificial: Especial atención a su futura regulación. Comares.
Perin, A. (2019). Estandarización y automatización en medicina: El deber de cuidado del profesional entre la legítima confianza y la debida prudencia. Revista Chilena de Derecho y Tecnología, 8(1): pp. 3-28. https://dx.doi.org/10.5354/0719-2584.2019.52560.
Pfohl, S., Foryciarz, A., y Shah, N. (2021). An empirical characterization of fair machine learning for clinical risk prediction. Journal of Biomedical Informatics, 113: 103621. https://doi.org/10.1016/j.jbi.2020.103621.
Prictor, M. (2023). Where does responsibility lie? Analysing legal and regulatory responses to flawed clinical decision support systems when patients suffer harm. Medical Law Review, 31(1): pp. 1-24. https://doi.org/10.1093/medlaw/fwac022.
Ramón, F. (2021). Inteligencia artificial en la relación médico-paciente: Algunas cuestiones y propuestas de mejora. Revista chilena de derecho y tecnología, 10(1): pp. 329-351. https://dx.doi.org/10.5354/0719-2584.2021.60931.
Ramón, F.(2024). Diagnóstico Médico por robots y responsabilidad civil. Lex Medicinae, 21(42): pp. 17-34. Disponible en https://bit.ly/4ntG2gc.
Recuero, M. (2024). El uso secundario de datos de salud electrónicos: El futuro Reglamento del Espacio Europeo de Datos de Salud y su interacción con la protección de datos personales. InDret, 2: pp. 525-51. https://doi.org/10.31009/InDret.2024.i2.13.
Raposo, V. (2025). The fifty shades of black: about black box AI and explainability in healthcare, Medical Law Review, 33(1): fwaf005, https://doi.org/10.1093/medlaw/fwaf005.
Smith, H., y Fotheringham, K. (2020). Artificial Intelligence in Clinical Decision-Making: Rethinking Liability. Medical Law International, 20(2): pp. 131-54. https://doi.org/10.1177/0968533220945766.
Smuha, N. Ahmed Renger, E.; Harkens, A., et.al (2021). How Can the EU Achieve a Legally Trustworthy AI: A Response to the European Commission’s Proposal for an Artificial Intelligence Act, Leads Lab University of Birmingham, 1.
Solaiman, B.; Malik, A. (2025). Regulating algorithmic care in the European Union: Evolving doctor– patient models through the Artificial Intelligence Act (AI-Act) and the liability directives. Medical Law Review, 33(1): fwae033. https://doi.org/10.1093/medlaw/fwae033.
Steerling, E. Siira, E., Nilsen, P., Svedberg, P y Nygren, J. (2023). Implementing AI in healthcare: the relevance of trust: a scoping review. Frontiers in health services, 3. https://doi.org/10.3389/frhs.2023.1211150.
Van Baalen, S. Boon, M., y Verhoef, P. (2021). From clinical decision support to clinical reasoning support systems. Journal of evaluation in clinical practice, 27(3), pp. 520-528. https://doi-org.utalca.idm.oclc.org/10.1111/jep.13541.
Walker, N. (2023). El problema de sesgo algorítmico y, en particular, el sesgo de género, en: Droguett, Carmen; Walker, Nathalie, Derecho Digital y Privacidad en América y Europa (pp. 148-161). Tirant Lo Blanch.
Normas citadas
Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial y por el que se modifican los Reglamentos (CE) n.° 300/2008, (UE) n.° 167/2013, (UE) n.° 168/2013, (UE) 2018/858, (UE) 2018/1139 y (UE) 2019/2144 y las Directivas 2014/90/UE, (UE) 2016/797 y (UE) 2020/1828
(Reglamento de Inteligencia Artificial).