¿Puede una inteligencia artificial decidir si un paciente con tendencias suicidas debe ingresar en un hospital? ¿Puede un juez utilizarla para redactar una sentencia? ¿Quién responde cuando el algoritmo se equivoca? ¿Y qué sucede cuando las grandes plataformas tecnológicas pueden influir en nuestras decisiones sin que seamos conscientes?
Estas preguntas protagonizaron el debate celebrado el pasado 3 de octubre, en el marco de las XX Jornadas de Documentos Jurídico-Psiquiátricos, en las que participaron 52 especialistas, entre psiquiatras y juristas.
La discusión, dedicada a las implicaciones de la inteligencia artificial, el control social y su regulación, reveló una preocupación compartida: la tecnología avanza más rápido que la capacidad de adaptación de las instituciones encargadas de supervisarla.
Entre los intervinientes figuraron el magistrado del Tribunal Constitucional, Juan Carlos Campo, el Tribunal Supremo Eduardo de Porres, el psiquiatra Carlos Roncero, el filósofo Juan Antonio Valor y los psiquiatras Pedro Moreno y Paz García-Portilla, entre otros.
Durante el encuentro se enfrentaron dos perspectivas: la de quienes alertaron sobre la manipulación y la pérdida de autonomía individual, y la de quienes defendieron las posibilidades de la IA para mejorar la asistencia sanitaria y las decisiones profesionales.
Ambas convergieron en una cuestión: cómo aprovechar sus beneficios sin perder el control humano.
Eduardo de Porres: la inteligencia artificial puede ayudar al juez, pero no sustituirlo
El magistrado Eduardo de Porres centró su intervención en la utilización de inteligencia artificial en los tribunales.
Distinguió entre las aplicaciones que facilitan tareas auxiliares y aquellas capaces de intervenir en la elaboración de resoluciones judiciales.
Buscar jurisprudencia o localizar documentación no plantea, en principio, grandes dificultades. El problema aparece cuando una máquina puede redactar una sentencia.
De Porres explicó que un compañero de la carrera judicial había desarrollado un sistema que genera borradores de resoluciones introduciendo las demandas, sus contestaciones y la documentación procesal.
La experiencia plantea una cuestión trascendental: si la IA puede redactar sentencias aparentemente correctas, ¿qué papel debe conservar el magistrado?
Su respuesta fue clara: el juez debe estudiar personalmente el asunto, examinar las actuaciones y construir su propio criterio jurídico. No basta con comprobar que el texto generado resulta coherente.
Recordó los límites establecidos por el Consejo General del Poder Judicial, entre ellos la utilización de herramientas autorizadas, la protección de datos y el mantenimiento de un control humano real y efectivo.
Relacionó estas exigencias con los deberes de integridad y diligencia judicial.
También advirtió del riesgo de introducir documentación confidencial en plataformas externas.
Para De Porres, el debate apenas comienza y seguirá planteando problemas durante muchos años.
Carlos Roncero propone identificar sistemas seguros para los menores
El psiquiatra Carlos Roncero trasladó la discusión a la salud mental.
Su preocupación se centró en los chatbots que interactúan con niños, adolescentes y personas vulnerables.
¿Qué ocurre cuando un joven con ideas suicidas consulta a una inteligencia artificial?
Roncero defendió la conveniencia de identificar aplicaciones sometidas a controles suficientes para considerarlas razonablemente seguras.
En situaciones relacionadas con el suicidio, estos sistemas deberían orientar al usuario hacia profesionales sanitarios, en lugar de reforzar sus pensamientos autodestructivos.
«No sé si vamos a poderle poner puertas al campo», reconoció, aludiendo a la velocidad de evolución tecnológica.
Su intervención abrió una discusión sobre las restricciones de acceso por edad.
Una participante recordó investigaciones y simulaciones en las que determinados chatbots habían reforzado ideas suicidas en adolescentes. También alertó de la dependencia emocional que pueden generar.
Pero introdujo una reflexión incómoda: antes de prohibir o restringir el acceso a los menores, los adultos deben adquirir competencias digitales suficientes para comprender los riesgos.
Preguntó cuántos asistentes habían recibido formación específica sobre estas tecnologías.
La cuestión puso de manifiesto que proteger a los menores también exige preparar a padres, profesores y profesionales.
El dilema del psiquiatra: cuando la IA contradice al médico
Uno de los momentos más intensos llegó con un supuesto clínico.
Son las tres de la madrugada. Un psiquiatra lleva muchas horas de guardia y debe decidir si una persona con ideas suicidas ingresa en el hospital.
Tras examinarla, considera que puede regresar a casa.
Sin embargo, consulta a una inteligencia artificial que recomienda el ingreso por apreciar un riesgo elevado.
¿Qué debe hacer? ¿Seguir su criterio profesional o aceptar la recomendación tecnológica?
Y, sobre todo, ¿qué ocurriría si decide enviarla a casa y termina suicidándose?
El facultativo que planteó este supuesto defendió la utilidad de la IA para reducir errores.
La medicina, recordó, trabaja constantemente con incertidumbre. Un psiquiatra no puede predecir con absoluta seguridad qué paciente cometerá un acto suicida.
Pero puede utilizar herramientas que mejoren sus valoraciones.
El problema aparece cuando las recomendaciones tecnológicas y el criterio médico no coinciden.
Por eso reclamó protocolos claros que determinen cómo actuar y permitan distinguir entre una decisión clínica razonable y una actuación negligente.
Una consecuencia desfavorable no demuestra, por sí sola, que exista responsabilidad profesional.
La cuestión dio paso a una discusión jurídica sobre la responsabilidad del médico y la del fabricante de la herramienta.
Una de las juristas defendió que la IA no elimina las obligaciones profesionales: el médico que prescribe sigue respondiendo por su decisión, igual que el juez que firma una sentencia.
Sin embargo, también puede resultar necesario examinar la responsabilidad de las empresas cuando los daños procedan de defectos tecnológicos.
Juan Antonio Valor: las tecnológicas están modelando nuestros deseos
El filósofo Juan Antonio Valor amplió el debate al poder económico de las grandes plataformas.
A su juicio, la inteligencia artificial no puede analizarse únicamente como una herramienta que algunos utilizan correctamente y otros de forma perjudicial.
Forma parte de una transformación estructural.
Valor recordó que las compañías tecnológicas llevan décadas acumulando información sobre millones de personas.
Los datos sobre hábitos, intereses, relaciones y preferencias constituyen el combustible de la inteligencia artificial.
Su preocupación es que las plataformas no se limitan a identificar los deseos de los consumidores.
También pueden contribuir a crearlos.
Los algoritmos seleccionan contenidos, orientan preferencias y condicionan comportamientos. Después, las compañías comercializan productos adaptados a esas preferencias.
Valor vinculó este fenómeno con las teorías sobre el tecnofeudalismo y la concentración del poder económico.
También planteó establecer mecanismos públicos de gestión de los datos para que parte de su valor económico revierta en la sociedad.
Y alertó del peligro de fabricar documentos, imágenes y evidencias falsas mediante inteligencia artificial con fines de manipulación política.
Para el filósofo, el problema afecta a la estructura misma de la democracia.
Paz García-Portilla: los adultos también están perdiendo el autocontrol digital
La psiquiatra Paz García-Portilla introdujo otra perspectiva. Aunque buena parte del debate se había concentrado en los adolescentes, advirtió de que los adultos también están desarrollando hábitos de dependencia tecnológica.
Puso ejemplos cotidianos: personas incapaces de permanecer unos minutos sin consultar el teléfono, incluso cuando están solas en una cafetería o se despiertan durante la noche.
Esa necesidad permanente de estimulación puede perjudicar la capacidad de introspección y reflexión.
Su argumento planteaba una contradicción: ¿cómo enseñar autocontrol digital a los menores cuando los propios adultos tienen dificultades para ejercerlo?
García-Portilla trasladó después el debate a la investigación científica.
Expresó su preocupación por la utilización de inteligencia artificial para revisar manuscritos inéditos y preparar publicaciones académicas.
¿Quién garantiza la confidencialidad de esos documentos cuando se introducen en plataformas externas?
¿Y cómo valorar la contribución intelectual de un investigador si una parte sustancial de su trabajo ha sido elaborada mediante IA?
La psiquiatra cuestionó las consecuencias de estas prácticas para la evaluación científica.
Pedro Moreno: el peligro de perder la capacidad de concentración
El psiquiatra Pedro Moreno compartió algunas de esas preocupaciones.
Defendió las ventajas de la inteligencia artificial en medicina, pero advirtió de sus efectos sobre nuestra relación con el conocimiento.
Recordó que hace décadas conseguir un artículo científico podía exigir semanas de espera.
Esa dificultad obligaba a leer cuidadosamente la documentación disponible.
Ahora, millones de publicaciones pueden consultarse en segundos. Sin embargo, esa facilidad también puede favorecer un consumo superficial de información.
Moreno advirtió de que las redes sociales y determinadas tecnologías están reduciendo la capacidad de atención sostenida.
También anticipó cambios profundos en la enseñanza universitaria.
Si una máquina puede elaborar trabajos académicos completos, las facultades de Medicina y Derecho deberán encontrar nuevas fórmulas para comprobar los conocimientos reales de sus estudiantes.
Defendió recuperar la importancia del esfuerzo personal, la disciplina intelectual y las relaciones humanas.
¿Puede un juez investigar el historial de ChatGPT de un psiquiatra?
Otra intervención planteó un problema jurídico especialmente delicado.
Imaginemos que se investiga a un psiquiatra por una supuesta negligencia relacionada con el suicidio de un paciente.
Podría resultar útil conocer qué consultas realizó a una inteligencia artificial antes de adoptar su decisión.
Pero ¿puede un juez acceder a su historial completo de conversaciones?
En una misma cuenta pueden coexistir consultas profesionales e información extremadamente íntima.
El acceso indiscriminado podría revelar aspectos privados completamente ajenos al procedimiento.
El participante preguntó si semejante diligencia tendría cobertura legal y superaría el principio de proporcionalidad.
La complejidad del asunto llevó a posponer una discusión más detallada.
El interrogante quedó abierto: los historiales de inteligencia artificial pueden convertirse en fuentes de prueba judicial y, simultáneamente, en depósitos especialmente sensibles de datos personales.
El encuentro no concluyó con un rechazo a la inteligencia artificial, pero tampoco con su aceptación incondicional.
Psiquiatras y juristas coincidieron en la necesidad de aprovechar sus posibilidades sin renunciar a la autonomía profesional, los derechos fundamentales y la responsabilidad humana.
Porque la pregunta fundamental ya no es cuánto puede hacer la inteligencia artificial, sino cuánto estamos dispuestos a dejar que decida por nosotros.
