Confiar en un sistema de inteligencia artificial no depende solo de que produzca respuestas convincentes. También implica entender con qué datos ha aprendido, qué riesgos existen de manipulación, cómo evaluar la fiabilidad de lo que genera y qué ocurre cuando un modelo deja de limitarse a responder y empieza a actuar en nuestro nombre.

En esta expert talk en el Madrid Innovation Lab, organizada junto a Machine Learning Circle, exploraremos algunos de los principales desafíos relacionados con la seguridad, la fiabilidad y el control de los sistemas de inteligencia artificial.

La sesión comenzará con una introducción al adversarial machine learning y al data poisoning, analizando cómo los propios datos de entrenamiento pueden utilizarse para alterar el comportamiento de un modelo. A continuación, se abordará la factualidad de las respuestas de los LLM: por qué pueden generar contenidos plausibles pero incorrectos incluso cuando no existe un ataque y qué criterios pueden ayudarnos a evaluarlos.

Finalmente, la sesión dará el salto de las respuestas a las acciones para analizar los agentes de IA: sistemas que utilizan herramientas, permisos y diferentes componentes para ejecutar tareas. Se reflexionará sobre qué límites, controles y mecanismos de seguridad conviene establecer cuando delegamos acciones en estos sistemas.

Qué podrás aprender

Durante la sesión se abordarán conceptos clave relacionados con la confianza y la seguridad en inteligencia artificial:

• Qué es el adversarial machine learning y cómo pueden diseñarse ataques orientados a alterar el comportamiento de los modelos.
• En qué consiste el data poisoning y cómo la manipulación de los datos de entrenamiento puede comprometer un sistema de IA.
• Por qué los LLM pueden generar respuestas convincentes pero incorrectas, incluso cuando no están siendo atacados.
• Cómo evaluar la factualidad y fiabilidad de las respuestas generadas por modelos de lenguaje.
• Qué cambia cuando pasamos de modelos que responden a agentes que actúan utilizando herramientas y sistemas externos.
• Qué permisos, límites y controles deberían establecerse para reducir riesgos cuando los agentes de IA ejecutan acciones en nuestro nombre.

Una sesión especialmente dirigida a profesionales y estudiantes de machine learning, inteligencia artificial, ciencia de datos, ciberseguridad, ingeniería y desarrollo de sistemas, así como a perfiles interesados en comprender mejor los riesgos asociados a modelos y agentes de IA.

Ponente

La sesión estará impartida por Javier Carnerero Cano, Research Scientist en IBM.

Durante la expert talk, abordará desde una perspectiva técnica cuestiones relacionadas con data poisoning, desinformación, factualidad de los LLM y seguridad en agentes de inteligencia artificial.

¡Apúntatelo en la agenda!

📅 Fecha: martes, 27 de octubre de 2026

⏰ Horario: 18:30 – 20:00 h.

📍 Ubicación: Madrid Innovation Lab (MIL). C/ Bravo Murillo 37-39