Vaccine misinformation can easily poison AI

Vaccine misinformation can easily poison AI – but there's a fix

Los modelos de inteligencia artificial son sorprendentemente vulnerables al envenenamiento de datos, donde la inyección de una pequeña fracción de desinformación médica en los conjuntos de datos de entrenamiento provoca que los sistemas generen consejos de salud perjudiciales. Esta investigación demuestra que incluso cantidades mínimas de datos corruptos pueden aumentar significativamente la producción de contenido peligroso, como la minimización de la eficacia de las vacunas o la sugerencia de tratamientos farmacológicos incorrectos, incluso para consultas no relacionadas. La facilidad y el bajo costo de ejecutar estos ataques ponen de manifiesto una falla crítica de seguridad en el desarrollo actual de los modelos de lenguaje grandes, revelando que estos sistemas carecen de las comprobaciones de seguridad intuitivas inherentes a los profesionales médicos humanos. Esta vulnerabilidad es particularmente alarmante porque requiere recursos mínimos para ser explotada, con algunos ataques que cuestan menos de mil dólares. Los hallazgos implican que la integridad de las herramientas de atención médica impulsadas por IA no puede garantizarse únicamente por su escala; los modelos más grandes siguen siendo susceptibles a manipulaciones sutiles si sus datos de entrenamiento subyacentes están comprometidos. Esto subraya un riesgo profundo para cualquier aplicación que dependa de la IA generativa para la toma de decisiones críticas, ya que la línea entre un error benigno y un sabotaje malicioso se vuelve peligrosamente delgada. La relevancia de los datos abiertos es primordial, ya que los conjuntos de datos transparentes y de alta calidad son la base de una IA confiable. Si las fuentes de datos abiertos no son rigurosamente verificadas y protegidas contra la contaminación, pueden envenenar inadvertidamente tecnologías dirigidas al público. En consecuencia, el desarrollo de mecanismos de verificación, como algoritmos de verificación de hechos y ensayos controlados aleatorios rigurosos para su implementación, se vuelve esencial. Esto destaca que, si bien los datos abiertos fomentan la innovación, también requieren estructuras de gobernanza robustas para evitar que actores maliciosos socaven la confianza de la sociedad en los sistemas automatizados.

Source: newscientist.com
Published on 2025-01-09

Datos Abiertos (Open data)

Related news