Joaquín Delgado Martín es magistrado de la Sala de lo Penal de la Audiencia Nacional desde 2020 y uno de los mayores expertos en todo lo referente a la transformación digital de la justicia y ahora de la Inteligencia Artificial (IA).
Acaba de publicar su octavo libro sobre esta temática. Lleva por título Inteligencia Artificial en el Sistema Penal. Impacto sobre los delitos, la investigación y la prueba y lo ha publicado Lefebvre dentro de su colección Claves Prácticas de Lefebvre.
En esta entrevista, el magistrado —miembro de la Red Judicial de Expertos en Derecho Europeo (REDUE)– repasa cómo la inteligencia artificial está transformando, a la vez, tres frentes: la comisión de delitos, su investigación y su valoración como prueba ante los tribunales.
Su diagnóstico es claro. El Código Penal vigente ya permite perseguir estos delitos gracias a sus tipos abiertos —»por cualquier medio»—.
Pero reclama figuras específicas: entre ellas, agravar como delito autónomo la presentación de deepfakes como pruebas judiciales.
Y advierte de algo más urgente que la ley: la falta de medios materiales de policía, fiscales y jueces frente a una delincuencia tecnológica que, según él, avanza más deprisa que la respuesta institucional.
Es tu octava obra dedicada a la transformación tecnológica de la Justicia. ¿Por qué ha decidido escribir ahora un libro específico sobre inteligencia artificial y sistema penal?
Siempre me han llamado mucho los límites del Derecho. Soy una persona inquieta y muy curiosa.
¿Cómo conecta esta obra con la anterior?
El derecho procesal digital lleva a esto, a cómo afecta la inteligencia artificial a toda la actividad jurisdiccional. Vi que en el sistema penal había ciertos vacíos, y entonces empecé poco a poco, hasta que fui capaz de acabarlo.
En el libro analizas el impacto de la inteligencia artificial sobre los delitos, la investigación y la prueba. ¿Cuál de estos tres ámbitos plantea, a tu juicio, los riesgos más inmediatos para el sistema penal?
Riesgos, todos, en los tres ámbitos. Muchas veces hemos hablado de que la tecnología digital es una cosa neutra que se puede utilizar para lo bueno y para lo malo.
Con la inteligencia artificial pasa lo mismo. En manos de los delincuentes, facilita muchos delitos, los hace más fáciles.
¿Puedes poner un ejemplo de cómo la IA facilita un delito?
Un delito de hacking: si tú quieres acceder a una determinada plataforma, o quieres hacer un ataque de denegación de servicio a una empresa, no hace falta que lo hagas tú.
Contratas plataformas automatizadas que con IA hacen el ataque. Tú pagas y esa plataforma automatizada lo ejecuta. Fíjate el colmo: ya no hay ni víctima ni humanización, es todo el sistema automatizado el que hace el ataque, y el agresor lo único que hace es pagar.
Identificar a ese agresor ya es otra cosa, la de la investigación: cómo seguir la huella digital hasta él y hasta quien lo ha comprado. Tiene sus dificultades.
¿Y en el lado positivo? ¿Cómo ayuda la IA a la investigación y a la prueba?
También sirve para lo bueno: puede ayudar a la policía a investigar los delitos cometidos con IA o cualquier otro tipo de delito.
Facilita las pruebas de ADN, el reconocimiento facial por biometría, hace predicciones sobre si una persona ha podido cometer un delito, siempre que existan indicios previos. Proporciona instrumentos potentísimos a la policía, y esos resultados luego se llevan a juicio. Para lo bueno y para lo malo, la IA está en las tres cosas.
¿Es consciente de que han aumentado las estafas informáticas?
Sí, una barbaridad. Muchísimo. Y no solo lo reflejan los datos de la Fiscalía General del Estado sobre estafas informáticas, sino también otras muchas que no llegan a esas estadísticas.
¿Está preparada la legislación penal española para perseguir delitos cometidos mediante inteligencia artificial, o existen conductas nuevas que obligarán a reformar el Código Penal?
Si tú lees los tipos penales actuales, dicen «el que por cualquier medio haga esto», «el que por cualquier medio acceda indebidamente a tal contenido», «el que por cualquier medio dañe un sistema informático ajeno». Dentro de «cualquier medio» está la inteligencia artificial.
Y, por tanto, ¿se pueden perseguir los delitos? Sí, se pueden perseguir. Pero es cierto que harían falta determinados delitos específicos por IA; habría que hacer un listado.
¿Qué delito específico echa en falta?
A mí se me ocurre uno: la presentación de una prueba falsa ante un tribunal. Eso hoy es una estafa procesal.
Viendo las dificultades de detección de los deepfakes, debería tipificarse como delito específico y con una pena mucho más grave que la mera estafa procesal, porque las pruebas deepfakes lo que hacen es simular, manipular audios, vídeos e imágenes.
Normalmente los jueces damos un especial valor probatorio cuando escuchamos o vemos algo, más que a un mero escrito en papel. Lo pongo como ejemplo, junto con todo lo que es la utilización de la IA para suplantar la identidad. Eso tendría que fortalecerse.
«El gran problema no es la ley. El gran problema es que policías, jueces y fiscales tengamos medios efectivos para investigarlo y para abordarlo, y eso implica un fortalecimiento de todas nuestras capacidades y de nuestros medios económicos, que ahora mismo nos faltan».
Entonces, ¿el problema es más de medios que de leyes?
Contestando a tu pregunta: legislativamente, hoy se puede perseguir por la norma penal vigente, sí, pero se perseguiría mejor si existiera una reforma penal.
El gran problema, sin embargo, no es la ley. El gran problema es que policías, jueces y fiscales tengamos medios efectivos para investigarlo y para abordarlo, y eso implica un fortalecimiento de todas nuestras capacidades y de nuestros medios económicos, que ahora mismo nos faltan.
La delincuencia está utilizando muchísimo la IA para un montón de delitos, y nosotros vamos, como siempre, a remolque.
Cuando una inteligencia artificial interviene de forma relevante en la comisión de un delito, ¿cómo debe determinarse quién es responsable: el usuario, el programador, la empresa proveedora o quien controla el sistema?
Hay que distinguir dos ámbitos distintos: el primero son los delitos dolosos, y el segundo, los cometidos por imprudencia, los culposos. Son problemas totalmente distintos.
Empecemos por los culposos. ¿Cómo se reparte ahí la responsabilidad?
Ahí hay dos posibles focos de responsabilidad. El primero es lo que podemos llamar la línea de producción del sistema de inteligencia artificial —se programa, se diseña, se entrena, se implementa, hasta que tenemos el producto final—, y ahí interviene mucha gente.
Si en alguno de esos momentos se comete un error que hace que el sistema funcione mal —por ejemplo, que se equivoque en la detección de una enfermedad, o que un robot de una fábrica se equivoque en la acción encomendada y cause un daño, incluso medioambiental—, en ese ámbito confluyen muchas conductas y habría que individualizar quién motivó el fallo.
¿Y cómo se traduce eso a efectos de responsabilidad, civil o penal?
En responsabilidad civil se podría jugar con la solidaridad —todos los que han intervenido responden solidariamente frente al perjudicado, y luego se lo reparten entre ellos— y con la distribución de la carga de la prueba.
Pero en penal no tenemos ni esa solidaridad ni esa distribución de la carga de la prueba. Aquí hay que hacer un esfuerzo de individualización: qué ha hecho cada cual, y qué le es imputable en el diseño, en el entrenamiento, qué es lo que ha creado el riesgo que luego ha generado el daño.
¿Y qué instrumentos tiene el derecho penal para reaccionar ante ese riesgo?
Si se crea un sistema de inteligencia artificial que genera un riesgo inasumible para la sociedad, lo prohibimos, y si lo hace, pena. Si se crea un sistema que desnuda a niños o a personas, ¿aporta algo a la sociedad? No. Lo prohibimos, y si lo incumple, pena.
Si la conducta implica un riesgo que también puede generar un beneficio para la sociedad, se admite, pero se considera de alto riesgo y se le imponen un montón de requisitos.
Eso es justamente lo que hace el Reglamento Europeo de Inteligencia Artificial. Cuando algo se califica de alto riesgo, exige una serie de requisitos, y si se incumplen, en los casos más graves, pena, no solo multa.
Ahí, en la línea de producción, la clave es la previsibilidad: si era previsible, cuando se hizo el diseño o el entrenamiento, que se causara ese daño.
¿Y en el caso del usuario del sistema?
Tú puedes usar un sistema de inteligencia artificial estupendo, pero si lo usas mal, entonces respondes por esa culpa —al hacer un diagnóstico, al controlar un proceso en una fábrica—.
Ahí la responsabilidad va ligada no a la previsibilidad, sino al control humano: qué control tenía ese usuario.
¿Cambia el análisis cuando el delito es doloso, es decir, cuando alguien usa la IA deliberadamente para delinquir?
En el caso de los dolosos, una persona utiliza un sistema de inteligencia artificial para cometer el delito directamente: un dron capaz de disparar que se usa para matar a alguien, o un sistema de IA generativa para crear una imagen falsa y difundir desinformación en una campaña electoral —delito electoral—, o una deepfake para presionar a una persona y que mantenga relaciones sexuales —otro delito—.
«Si se crea un sistema de inteligencia artificial que genera un riesgo inasumible para la sociedad, lo prohibimos, y si lo hace, pena. Si se crea un sistema que desnuda a niños o a personas, ¿aporta algo a la sociedad? No. Lo prohibimos, y si lo incumple, pena. Es lo que hace el Reglamento Europeo de Inteligencia Artificial».
¿Y cómo se llega, técnicamente, a cometer esos delitos dolosos con ayuda de la IA?
Aquí distingo dos vías de comisión de delitos a través de la tecnología. La primera es el mero hacking, el automatismo: usas la tecnología, descubres una falla, entras y haces lo que quieras en el sistema, causas daño o sustraes información.
La segunda vía, la más habitual, es la ingeniería social: engañas a través de la tecnología a una persona para que haga una transferencia, te dé un dato o una fotografía, y luego usas eso para causar daño.
La IA sirve para mejorar los ataques puramente tecnológicos, pero también para mejorar el engaño —bots que simulan humanos e interactúan contigo—. La IA es como un cuchillo: te sirve para cortar una cebolla o para matar a una persona. Sirve para las dos cosas.
La inteligencia artificial permite crear imágenes, vídeos y voces falsas cada vez más difíciles de detectar. ¿Cómo pueden los tribunales comprobar la autenticidad de una prueba ante el avance de los deepfakes?
En los tribunales hay, digamos, tres capas. La primera es la propia detección por el juez o por las partes, que se lo advierten al juez, porque en nuestro sistema funciona mucho la contradicción: si ninguna parte dice nada, el juez no se mosquea. Tiene que ser alguna parte la que le diga «mire, esto es falso».
Esa primera capa son elementos que llevan a detectar una posible deepfake, y eso lo puede ver el juez o las partes.
Pero eso no soluciona el problema, porque es muy fácil que se te pase, sobre todo porque cada vez está más perfeccionada: que no coincida la voz con lo que se está diciendo, que la luz se vea distinta. En la web de INCIBE hay bastantes ejemplos recopilados para que la gente lo vea.
¿Y la segunda capa?
Son programas —muchos de ellos abiertos, también recogidos en INCIBE— donde subes un contenido y te dan un porcentaje de posibilidad de que haya sido creado por IA; los hay para textos, para audios, para otros formatos.
La parte que sospecha puede subirlo y decir «yo he utilizado esto y sale este porcentaje», y el juez ya lo tiene en cuenta.
¿Y la tercera, la de mayor eficacia probatoria?
Es la prueba pericial: a través de los metadatos y de redes neuronales se puede llegar a saber si un contenido ha sido creado o no por IA. Pero fíjate la complejidad que esto añade a los procesos: existe el riesgo de que cualquiera pueda hacer una deepfake con mucha facilidad y, por otro lado, no tenemos mecanismos buenos de detección. Ahí hay un riesgo real de que se empiecen a utilizar cada vez más.
¿Qué garantías deberían exigirse cuando la Policía o la Guardia Civil utilizan herramientas de inteligencia artificial para identificar sospechosos, analizar grandes cantidades de datos o establecer patrones delictivos?
Aquí hay que pasar dos filtros: el de la licitud y el de la fiabilidad. El de la licitud exige respetar los derechos fundamentales. Si en las tecnologías digitales, en la intervención de comunicaciones, hay ya un peligro grave sobre muchos derechos fundamentales, la IA aumenta ese peligro.
Al utilizarla, hay que respetar todos los derechos fundamentales, y muchos de sus usos estarán en el límite del respeto a la dignidad humana.
Por ejemplo, ¿se puede utilizar la IA para valorar la credibilidad de un testimonio? Probablemente, técnicamente se pueda llegar a construir algo así, pero la sociedad no debe permitirlo: si no permitimos la máquina de la verdad, mucho más sofisticada, no deberíamos permitir esto. Cada sociedad, cada Estado, deberá decidirlo.
¿Y qué ocurre, por ejemplo, con las cámaras de reconocimiento facial en la vía pública?
Hoy tenemos un montón de cámaras en todas partes, no solo las públicas, sino también las de particulares, porque todos llevamos dispositivos. Existen, por tanto, muchísimas imágenes que pueden analizarse para investigar.
El Reglamento europeo de inteligencia artificial se ha planteado con mucha seriedad qué ocurre con el reconocimiento facial en vía pública y en tiempo real, porque eso significa hacer un seguimiento de todo el mundo en cada momento.
El Reglamento no entra a prohibirlo o permitirlo de forma tajante, pero exige que, si se usa por la policía, se cumplan una serie de requisitos enormes: autorización judicial, principio de proporcionalidad, control, etcétera. Cada Estado deberá tomar su decisión, pero si la toma, tiene que cumplir todo eso.
«Los sesgos de asociación están clarísimos: ahí tenemos el sesgo de género, el de discapacidad, entre otros, dentro de un catálogo que llega hasta seis tipos distintos de sesgo. El que más me preocupa en esta materia es precisamente el de asociación, porque puede generar discriminación; hay que tener mucho cuidado».
¿Y el segundo filtro, el de la fiabilidad?
Exige que los resultados sean lo suficientemente fiables, y eso habrá que demostrarlo mediante una prueba pericial cualificada, porque ahí no solo está el perito, está también el sistema de inteligencia artificial que ese perito ha utilizado. Eso ya genera complejidad añadida.
¿Existe el riesgo de que los sesgos de los algoritmos terminen condicionando una investigación penal y dirigiendo las sospechas hacia determinadas personas o colectivos?
Eso es lo que se llama el sesgo de asociación. Como se trabaja sobre datos históricos, cualquier discriminación que hubiera en esos datos se traslada después, porque los sistemas de IA generativa trabajan sobre probabilidades y lo lógico es que la repliquen.
Los sesgos de asociación están clarísimos: ahí tenemos el sesgo de género, el de discapacidad, entre otros, dentro de un catálogo que llega hasta seis tipos distintos de sesgo. El que más me preocupa en esta materia es precisamente el de asociación, porque puede generar discriminación; hay que tener mucho cuidado.
¿Cuál es el segundo sesgo que más le preocupa?
El sesgo de automatismo: si utilizas un sistema de inteligencia artificial para ayudarte en una decisión, tiendes a creerlo porque se supone objetivo, porque se asume que usa datos objetivos y un algoritmo bien construido.
Tiendes a seguirlo, y es muy difícil apartarte de lo que te recomienda. Eso es muy preocupante, porque cada vez usamos más sistemas de IA para que nos recomienden cosas, y si los seguimos a pies juntillas, o nos cuesta separarnos de ellos, tenemos un problema.
Los algoritmos que utiliza la Policía, la Guardia Civil y otras administraciones, ¿pueden ser algoritmos de caja negra?
No. Cualquier decisión pública tiene que ser explicable. La cosa pública no acepta algoritmos de caja negra, siempre que genere una decisión o una recomendación, y no solo para la Justicia, para cualquier administración.
¿Cuáles son esos principios de la explicabilidad de la IA?
Son cuatro. Primero, la IA tiene que tener una explicación, con lo cual quedan fuera los sistemas de caja negra. Segundo, esa explicación tiene que ser entendible por cualquiera. Tercero, tiene que ser suficientemente precisa. Y cuarto, tiene que comunicar el margen de error que tiene el sistema. Con esos cuatro principios se está haciendo un esfuerzo muy grande en lo que se llama la IA explicable, la XAI.
¿Por qué es tan importante que se cumplan esos principios cuando el resultado llega a juicio?
Porque cualquier prueba, también la generada por IA, está sometida a la libre valoración del juez. El juez tendrá que decir por qué cree o no cree un testigo, por qué cree o no cree un documento, y también tendrá que razonar por qué cree o no cree el resultado de un sistema de inteligencia artificial.
Para valorarlo, tiene que entenderlo. Y la base de esa libre valoración es la contradicción entre las partes: tienen que ser capaces de alegar y probar frente a esa prueba generada por IA, y para eso también tienen que poder entenderla; si no, no hay contradicción posible.
«El de la igualdad de armas es un problema delicado, porque la IA no genera nada nuevo respecto a lo que ya existe: hay partes que tienen más medios y partes que tienen menos».
Si la defensa desconoce cómo funciona el algoritmo empleado durante la investigación, ¿puede hablarse plenamente de contradicción y de igualdad de armas dentro del proceso penal?
Para poder contradecir hay que poder entender; si no, no se puede contradecir.
El de la igualdad de armas es un problema delicado, porque la IA no genera nada nuevo respecto a lo que ya existe: hay partes que tienen más medios y partes que tienen menos.
El Estado, a través de la justicia gratuita, dota de capacidades a quienes no tienen medios, pero hasta cierto punto. Las partes con más posibilidades de actuación seguirán estando en mejor posición en el proceso. La IA no añade una novedad distinta a esa desigualdad ya existente.
¿Cómo debe resolverse el conflicto entre el secreto empresarial de las compañías que desarrollan estos sistemas de IA y el derecho de la defensa o la acusación a conocer y cuestionar la tecnología utilizada en su contra?
Hay que centrar el tema en qué necesita conocer la defensa, la acusación, o quien quiera hacer una contrapericia o contradecir, para poder ejercitar ese derecho. No necesita saberlo absolutamente todo.
Habrá que buscar ese equilibrio; ya se están desarrollando elementos en esa dirección, pero es un problema serio cuando una parte quiere llegar al fondo, a todo el algoritmo: ahí hay un problema grande de defensa de la propiedad intelectual.
También aborda en el libro el uso de la IA por el agente encubierto. ¿Puede explicarlo?
El agente encubierto virtual es el policía que utiliza un nick falso y se dedica a navegar; puede hacerlo por cualquier web o foro sin ningún problema, con esa identidad falsa, igual que podría hacerlo cualquiera de nosotros.
La cosa cambia cuando entra en la parte privada de una red social, donde tiene que pedir la autorización del titular de esa parte privada —de TikTok, de Instagram—. Para pedir esa autorización, el policía no puede engañar al titular; está prohibido.
Por eso necesita autorización judicial: que el juez le autorice a engañarlo. Con ese engaño ya entra y actúa. Eso es el agente encubierto virtual.
¿Cómo deben probarse ante el juez las pruebas que han sido generadas por inteligencia artificial?
Estamos acostumbrados a que los datos que llegan a la policía y luego al juez para probar cosas sean datos que ya existen: el dato de una baliza, el de un contenido que había en TikTok tal día, a tal hora, en tal sitio.
Son datos que se aportan, y el gran problema es probar que esos datos existían en origen —autenticidad—, que no han sido manipulados hasta que el juez los valora —integridad— y que se obtuvieron sin infringir derechos fundamentales —licitud—.
¿Y qué cambia cuando esos datos pasan por un sistema de inteligencia artificial?
La IA, en cambio, parte de datos, pero lo que hace es crear datos nuevos: aplica algoritmos sobre esos datos primarios.
Eso añade una capa de complejidad a la hora de transmitirlo, porque ya no solo hay que probar que los datos originales se obtuvieron respetando los derechos fundamentales y que son íntegros y auténticos, sino que durante el proceso algorítmico no se ha afectado ningún derecho fundamental y que no se han introducido elementos que alteren la realidad. Es complicadísimo.
¿Y qué ocurre con las pruebas mejoradas digitalmente, como una imagen o un audio de mala calidad?
Tienes una imagen que no se ve bien, y la IA puede rellenar los píxeles que faltan; un audio que no se escucha bien, y la IA puede mejorarlo.
Ahí el problema es hasta qué punto eso es contenido nuevo o solo refuerza lo que ya había, y eso tendrá que explicárselo el perito al juez: qué sistema ha usado, cuál es el margen de error, y con eso el juez toma su decisión.
Entonces, ¿la inteligencia artificial va a reforzar la eficacia y la garantía del sistema penal?
Si se usa bien, sí.
¿Hasta qué punto ha cambiado la inteligencia artificial generativa el perfil del delincuente y la facilidad para cometer delitos?
El uso de la IA generativa por los delincuentes ha democratizado la comisión de delitos. Ya no hacen falta grandes conocimientos tecnológicos. Pueden utilizar un sistema que les venden, o contratar que el propio sistema lo haga.
Hay un primer elemento: ChatGPT y sistemas similares tienen una serie de límites que intentan evitar que se utilicen para cometer delitos.
Pero si les das instrucciones de determinadas formas, consigues que lo hagan igualmente; eso se llama jailbreaking, técnicas de ruptura de esos límites. Las hay, te las venden, se encuentran.
¿Cómo se presentan ante un tribunal las pruebas generadas o analizadas con inteligencia artificial?
Se pueden presentar de dos formas. Primero, se presenta el resultado en un documento. Y luego, lo lógico es que los autores de ese documento comparezcan ante el juez y lo expliquen: son los peritos.
Ese perito explicará qué sistema de inteligencia artificial ha utilizado y cómo lo ha utilizado; no es una prueba que haya elaborado él directamente, la ha elaborado el sistema, pero la forma de presentarla es esa: el documento con el resultado, y la comparecencia de los autores, que dicen «yo he utilizado este sistema, con estas características, con esta explicabilidad, con esta fiabilidad, con este margen de error». Va a ser probablemente la única forma, aunque aquí ya me estoy anticipando al futuro.
«El uso de la IA generativa por los delincuentes ha democratizado la comisión de delitos. Ya no hacen falta grandes conocimientos tecnológicos».
Pero es lo que está viniendo.
Está viniendo. A nivel de delitos, ya se está utilizando para muchas cosas. En la parte de deepfakes, si no lo vemos venir, nos van a empezar a presentar deepfakes como prueba.
¿Y en el terreno de la investigación policial?
Cuanto más use la policía sistemas de inteligencia artificial para investigar, más prueba se generará, y eso llegará a los tribunales y habrá que defender por qué esta persona es la que sale en un vídeo, o ha sido reconocida en tal sitio, o por qué existía riesgo de comisión de delitos si se trata de adoptar una medida cautelar.
Habrá que explicar qué sistema se ha aplicado para diagnosticar ese riesgo, no solo para la prueba en sentido estricto, sino para otros elementos del proceso.
Tú das clases a guardias civiles y policías. ¿Sobre qué?
Sobre medios de investigación tecnológica.
¿Están preparados?
Sí, tanto la Guardia Civil como la Policía están muy preparadas. Otra cosa es que no tengan medios suficientes para investigar todos los delitos que se cometen en internet, todos los delitos tecnológicos. Necesitan muchísimos más medios, muchos más efectivos.
Y en sus clases y ponencias, ¿se atreve a anticipar escenarios futuros relacionados con la IA?
Razono, porque en Derecho dos y dos no son siempre cuatro. Pero sí puedo decir: por aquí hay más riesgo de que sea cuatro de que sea cinco.
