Manuel Marchena, magistrado de la Sala de lo Penal del Tribunal Supremo y uno de los juristas más reconocidos en el análisis de la inteligencia artificial (IA) aplicada al derecho, fue contundente ayer durante su intervención en la IV Edición del Foro de Expertos Confilegal Auditores, celebrado en el Hotel Mandarin Ritz de Madrid.
En una entrevista con Carlos Berbell, director de Confilegal, Marchena abordó frontalmente la cuestión que preocupa a auditores, juristas y profesionales de múltiples sectores: ¿quién asume la responsabilidad cuando una auditoría apoyada en inteligencia artificial falla?
«El auditor que dice ‘ya he terminado mi trabajo de auditoría porque hago mías las conclusiones de un algoritmo’ está asumiendo una responsabilidad de primerísimo orden», afirmó Marchena sin ambages.
«No puedes excluir esa responsabilidad diciendo ‘mire, es que yo confiaba en el algoritmo’. No, no, no. Usted no puede confiar en el algoritmo. Usted tiene que tener la confianza estadística que le da el algoritmo —que el 97% de casos no se equivoca— pero ese 3% usted tiene que ventilarlo, tiene que ponderarlo», afirmó.
La IA como herramienta, nunca como sustituto
El magistrado, autor del libro La justicia amenazada y autor de una extensa ponencia sobre inteligencia artificial para el Real Colegio de Doctores de España –de la que forma parte–, estableció una distinción fundamental: la diferencia entre usar la IA como instrumento auxiliar o abdicar completamente la responsabilidad profesional en favor de un algoritmo.
«La inteligencia artificial puede ser un instrumento extraordinario para facilitar el trabajo«, reconoció Marchena, comparando su utilidad con la revolución que supuso en su momento el procesador de textos Word. «Es muy probable que algunos de estos instrumentos estén pensando en juristas, en auditores. Para analizar miles de datos, balances contables, la inteligencia artificial te tiene que venir fenomenal, de película, de maravilla».
Sin embargo, la línea roja es clara: «Lo que no puedes hacer es decir ‘mire, esto me lo ha dicho ChatGPT o el instrumento correspondiente, y yo firmo’. Evidentemente tú eres el responsable de esa decisión».
El caso argentino: cuando el juez copia al robot
Marchena ilustró los peligros de esta dependencia acrítica citando un caso reciente en Argentina que ha publicado en Confilegal su compañero de Sala, Vicente Magro, en una columna de opinión en la que cuenta que un juez que utilizó inteligencia artificial para redactar una sentencia condenatoria a dos años y seis meses de prisión cometió el error de no eliminar las instrucciones del propio algoritmo que le indicaban «copiar lo que se establece en la respuesta siguiente».
«Cuando al justiciable le dieron la sentencia y vio esto, pues lo recurrió», explicó el magistrado. La justicia argentina anuló la sentencia, planteando una cuestión jurídica crucial: «¿Se colma la exigencia constitucional de motivación haciendo propio el esfuerzo argumental que ha hecho el algoritmo? Sí o no?».
La respuesta de Marchena es inequívoca: «Nunca, jamás. Radicalmente, no».
En esto coincide con su compañero Magro. La producción de la sentencia debe ser enteramente humana. En este punto confesó «no haber hecho nunca ni un renglón de fundamento jurídico con la IA».
El magistrado, por otra parte, se posicionó en un «término medio» entre los «frikis de la inteligencia artificial» que anticipan una singularidad tecnológica donde las máquinas superarán la inteligencia humana —citando a Ray Kurzweil y su reciente tercer libro sobre el tema— y escépticos como Andrew McAfee, quien afirma que «preocuparse por los riesgos de la inteligencia artificial ahora es como preocuparse por la superpoblación en Marte».
«Tenemos un problema fundamentalmente jurídico al que tenemos que dar respuesta en muy poco tiempo», advirtió Marchena. «Y de hecho, ya empiezan a surgir los problemas».
El problema de la jurisprudencia fosilizada
Marchena también abordó un problema evidente. que si los jueces se basan exclusivamente en algoritmos, existe el peligro de que la jurisprudencia «se fosilice». El algoritmo, que conoce y ofrece soluciones basadas en los precedentes de los últimos 50 años, no va a detectar cuándo es necesario cambiar esa jurisprudencia, sino que se va a retroalimentar con ella.
El magistrado puso como ejemplo su propia experiencia: «Ahora tenemos ya para enero un pleno en el que nos damos cuenta que en relación con un determinado delito está provocando nuestra interpretación algún problema jurídico y algunas soluciones que son soluciones excesivamente rígidas. ¿Qué hacemos? Convocamos un pleno y decimos hay que pegar un volantazo a esta jurisprudencia».
El problema con el algoritmo es que existe «el riesgo de una fidelidad estadística a una jurisprudencia que tiene que ser una jurisprudencia viva». Y si no es una jurisprudencia viva, entonces «estamos consolidando situaciones injustas que en un momento determinado hay que cambiar».
Y ante la argumentación de que «todo es programable» y que se pueden programar hasta los cambios de jurisprudencia mediante «prompts» cuando las soluciones sean insatisfactorias, Marchena mantiene sus dudas sobre si un algoritmo puede realmente detectar cuándo es momento de evolucionar la doctrina jurisprudencial.
Porque la jurisprudencia debe ser un órgano vivo que se adapta a nuevas realidades sociales y detecta injusticias, algo que un algoritmo basado en precedentes históricos no puede hacer porque carece de la intuición y el juicio valorativo humano necesarios para saber cuándo «pegar un volantazo».
Los dilemas éticos: algoritmos que te conocen mejor que tu pareja
Uno de los aspectos más inquietantes que planteó el magistrado es el poder predictivo de los algoritmos basados en nuestros rastros digitales. Citó un estudio de la Universidad de Cambridge que demostró que con solo siete «likes» en redes sociales, un algoritmo te conoce mejor que un compañero de trabajo; con 100-150 «likes», mejor que tu pareja; y con 200 «likes», mejor que tus padres.
«El problema que yo le veo es la adhesión casi inquebrantable a lo que le ofrece la inteligencia artificial», reflexionó Marchena, reconociendo su propia dependencia de aplicaciones de navegación GPS. «Hay un momento en el que el gran desafío será, sobre todo para esa generación que vive por, para y en la red social: ¿creemos o no creemos en la inteligencia artificial?».
El magistrado, asimismo, planteó un escenario hipotético perturbador: «Imagínate que yo quiero echarme una novia y le pregunto al algoritmo si es la persona que me va a hacer feliz. Y el algoritmo conoce a esa chica mejor que lo que yo puedo conocerle. El algoritmo me está diciendo que ha puesto muchos ‘likes’ a videos violentos, muchos ‘likes’ a situaciones de dominación. Y yo eso no lo sé. El tema será: ¿asocio mi propio futuro a lo que me diga el algoritmo o no lo asocio?».
La justicia del futuro: ¿robots sin ideología?
Cuando Berbell le preguntó cómo sería la justicia dentro de 20 años, Marchena planteó una paradoja preocupante: el deterioro de la justicia convencional podría hacer atractiva una «justicia sin etiquetas» algorítmica.
«El robot no tiene etiquetas. Trabaja 365 días al año, 24 horas diarias, y además te da una respuesta avalada estadísticamente con fundamento en el precedente», describió. «Pero el algoritmo no actúa por sí solo. Necesita un programador. ¿Y quién programa al que programa? Este es el gran problema. ¿Quién controla al que tiene que controlar?».
El magistrado citó al eminente jurista Eduardo García de Enterría y su obra La lucha contra las inmunidades del poder: «El algoritmo no luchará contra las inmunidades del poder», sentenció.
Marchena, por otra parte, criticó la «inercia metodológica» del derecho romano que intenta explicar desafíos del siglo XXI con conceptos antiguos. «No podemos seguir diciendo ‘esto es parecido a la intimidad, esto es parecido a…’ No, no, no. Hay que construir el derecho al entorno virtual, hay que construir el derecho a la identidad algorítmica, hay que construir el derecho a la trazabilidad del algoritmo, el derecho a la manifestación telemática».
También defendió la necesidad de un «derecho a no ser engañado» ante la capacidad de la IA para crear ‘deepfakes’ indistinguibles de la realidad: «Llegará un momento en que no sabes exactamente si esto lo ha dicho este personaje o no lo ha dicho realmente».
La responsabilidad objetiva como solución
Para casos donde la IA tiene capacidad decisional autónoma —como vehículos sin conductor o robots quirúrgicos— Marchena propone seguir el camino de la Unión Europea hacia mecanismos de responsabilidad objetiva, similar al Consorcio de Compensación de Seguros español.
«Las grandes empresas de inteligencia artificial, por los beneficios que van a obtener, tienen que incorporar unos fondos para que no se discuta» quién responde, explicó. «No puedes obligar a un peregrinaje jurisdiccional a la víctima para ver si encuentra quién es el responsable del algoritmo».
El magistrado incluso no descarta la creación de una «personalidad electrónica» jurídica para ciertos algoritmos autónomos, similar a cómo hoy aceptamos que las personas jurídicas pueden delinquir: «Es una ficción, es una entelequia, y sin embargo estamos condenando a personas jurídicas por decisiones de sus directivos».
La advertencia final
Marchena concluyó con una reflexión sobre el cambio acelerado que vivimos, citando a Richard Susskind, abogado e ingeniero británico encargado de la informatización judicial del Reino Unido: «En los próximos 20 años la justicia y el ejercicio de la abogacía cambiarán más que en los últimos 200 años».
«Va a haber una obsolescencia humana», advirtió. «Yuval Noah Harari habla de la clase social de los irrelevantes: aquellos que no han querido ser hijos de su propia generación y de su propia época».
Sin embargo, su mensaje para auditores, juristas y profesionales no fue de rendición ante la máquina, sino de responsabilidad aumentada: «Dictar justicia, hacer justicia, es algo más que firmar sentencias. Y auditar es algo más que validar lo que dice un algoritmo».
