Academic Legal and Ethical Framework: Artificial Intelligence and Justice — Fundamental Rights, Human Oversight and Institutional Governance
Authors
Abstract
Marco jurídico, ético y tecnológico para la evaluación de sistemas de inteligencia artificial aplicados a la justicia. Examina la protección de los derechos fundamentales, los principios de la CEPEJ y la UNESCO, la gobernanza normativa multinivel, la calidad y protección de los datos, la supervisión humana significativa, la auditabilidad y los mecanismos de recurso y reparación. Incorpora una propuesta de gobernanza institucional adaptada al contexto marroquí y un modelo analítico de cinco dimensiones: derechos, datos, tecnología, procedimiento y gobernanza.
Journal Title
Journal ISSN
Volume Title
Publisher
URL external
External URL
DOI
Date
Description
Marco académico elaborado por la profesora Marta Gonzalo Quiroga, de la Universidad Rey Juan Carlos, que desarrolla una aproximación jurídica, ética e institucional a la utilización de la inteligencia artificial en los sistemas de justicia. Su finalidad es establecer criterios para evaluar la legitimidad, seguridad y responsabilidad de estas tecnologías, integrando la protección de los derechos fundamentales con las exigencias regulatorias, técnicas y organizativas propias de su implementación en contextos judiciales y administrativos.
El documento comienza con una arquitectura de derechos fundamentales aplicable a la inteligencia artificial en la justicia, que comprende la igualdad y la no discriminación, la privacidad y la protección de datos, el debido proceso, la tutela efectiva, el derecho a un juicio justo, la libertad de expresión cuando resulte pertinente, la independencia judicial y la dignidad humana. Desde esta perspectiva, la gobernanza de la IA no se considera un ámbito separado del ordenamiento jurídico, sino una dimensión que debe integrarse con las garantías constitucionales, los derechos humanos y las normas procesales existentes.
El marco incorpora los principios de la Carta Ética Europea sobre el uso de la inteligencia artificial en los sistemas judiciales y su entorno, elaborada por la Comisión Europea para la Eficiencia de la Justicia (CEPEJ), así como las orientaciones de la UNESCO para la utilización de sistemas de IA en tribunales. Se consideran especialmente el respeto de los derechos fundamentales, la no discriminación, la calidad y seguridad de los sistemas, la transparencia, la imparcialidad, la equidad, el control por parte de los usuarios, la rendición de cuentas y la supervisión humana.
En materia regulatoria, se aborda el Reglamento (UE) 2024/1689 de inteligencia artificial desde una perspectiva de gobernanza multinivel. Se subraya que su aplicación al ámbito de la justicia debe interpretarse conjuntamente con las obligaciones de protección de datos, las garantías procesales, los derechos fundamentales y las normas institucionales pertinentes. La conformidad con la regulación específica de la IA no sustituye, por tanto, la evaluación del conjunto de obligaciones jurídicas aplicables a cada sistema y contexto de utilización.
La dimensión tecnológica distingue distintas funciones que pueden desempeñar los sistemas de IA en la justicia, entre ellas la clasificación, la recuperación de información, el procesamiento del lenguaje natural, la generación de contenidos, el análisis predictivo, los sistemas de recomendación, las tecnologías biométricas y los flujos de trabajo automatizados. Esta clasificación permite destacar la importancia de evaluar cada aplicación atendiendo a su función, los riesgos derivados de posibles errores y las consecuencias jurídicas que estos puedan producir. Una herramienta de transcripción y un sistema que recomienda una decisión sobre la libertad de una persona requieren niveles de evaluación y garantías diferentes.
El marco desarrolla asimismo una metodología de gobernanza de datos que contempla la exactitud y representatividad de la información, la presencia de categorías sensibles, la delimitación de la finalidad, la minimización de datos, la localización del tratamiento, las condiciones de acceso y reutilización, los plazos de conservación y los mecanismos de detección y corrección de errores. La gestión de los datos se considera una condición previa para la utilización responsable de la IA, dada su influencia en la fiabilidad de los resultados, la posible reproducción de sesgos y la afectación de derechos individuales.
Uno de los elementos centrales es la supervisión humana significativa. Esta exige competencia profesional, autoridad efectiva, tiempo suficiente, conocimiento del papel desempeñado por el sistema y capacidad práctica para rechazar sus resultados. La mera presencia de una persona en el proceso o la aprobación formal de una recomendación automatizada no constituyen, por sí solas, una supervisión efectiva. El marco pone así el acento en la necesidad de diseñar procedimientos de trabajo que permitan una revisión independiente y eviten la aceptación rutinaria de resultados tecnológicos.
La auditabilidad y la tutela efectiva completan esta aproximación. Se plantea la necesidad de evaluar los sistemas antes de su implantación y supervisarlos durante su funcionamiento, así como de garantizar que las personas afectadas dispongan de vías reales para cuestionar resultados asistidos por IA, corregir datos inexactos y obtener una reconsideración humana cuando sus derechos estén en juego. Estos mecanismos deben formar parte del diseño institucional desde el inicio y mantenerse durante todo el ciclo de vida del sistema.
El documento incorpora una dimensión específica referida a Marruecos, a la Ley 09-08 sobre protección de datos personales y a la función de la Commission Nationale de contrôle de la protection des Données à caractère Personnel (CNDP). Examina los desafíos vinculados a la integridad, transparencia y comprensión de las decisiones automatizadas, así como la necesidad de desarrollar sistemas de IA responsable adaptados a la lengua, la cultura, el Derecho y las necesidades institucionales marroquíes, preservando al mismo tiempo la soberanía digital y la compatibilidad con los estándares internacionales.
Como instrumento práctico, el marco propone una lista de comprobación de once elementos para las instituciones judiciales y administrativas marroquíes. Incluye la definición precisa de la finalidad, la clasificación del sistema según su impacto y los derechos afectados, la evaluación de riesgos para los derechos fundamentales y la protección de datos, las pruebas de exactitud y ausencia de discriminación, la delimitación de usos prohibidos o restringidos, la designación de responsables humanos, la documentación de versiones y fuentes de datos, la formación del personal, los procedimientos de notificación y corrección de incidentes, los mecanismos de información e impugnación y la revisión continua del rendimiento.
La propuesta se sintetiza en un método de cinco dimensiones —derechos, datos, tecnología, procedimiento y gobernanza— que permite examinar de manera sistemática la utilización de IA en contextos judiciales. Este modelo conecta la evaluación técnica con la legitimidad jurídica y la responsabilidad institucional, ofreciendo una herramienta conceptual para orientar la selección, implantación, supervisión y revisión de estos sistemas.
En conjunto, el marco constituye un recurso académico de investigación aplicada, difusión científica y transferencia de conocimiento en materia de inteligencia artificial y justicia. Su contribución reside en articular los principios jurídicos y éticos con criterios operativos de gobernanza, ofreciendo una estructura de evaluación orientada a garantizar que la innovación tecnológica fortalezca la legalidad, la protección de los derechos y la confianza en las instituciones de justicia.
Palabras clave
Inteligencia artificial; inteligencia artificial y justicia; derechos fundamentales; gobernanza de la IA; ética de la inteligencia artificial; CEPEJ; UNESCO; Reglamento europeo de inteligencia artificial; protección de datos; gobernanza de datos; supervisión humana significativa; transparencia algorítmica; auditabilidad; tutela efectiva; responsabilidad institucional; evaluación de riesgos; no discriminación; justicia digital; soberanía digital; Derecho marroquí.
Keywords
inteligencia artificial, inteligencia artificial y justicia, derechos fundamentales, gobernanza de la IA, ética de la inteligencia artificial, CEPEJ, UNESCO, Reglamento europeo de inteligencia artificial, protección de datos, gobernanza de datos, supervisión humana significativa, transparencia algorítmica, auditabilidad, tutela efectiva, responsabilidad institucional, evaluación de riesgos, no discriminación, justicia digital, soberanía digital, Derecho marroquí
Citation
Collections
Endorsement
Review
Supplemented By
Referenced By
Document viewer
Select a file to preview:
Reload

