Los pesos de los modelos necesitan el mismo nivel de escrutinio que el código»: investigadores de Microsoft descubren que los agentes de IA pueden ser backdoorizados editando solo unas pocas neuronas

Los pesos de los modelos necesitan el mismo nivel de escrutinio que el código»: investigadores de Microsoft descubren que los agentes de IA pueden ser backdoorizados editando solo unas pocas neuronas

Los investigadores han demostrado con éxito un ataque de "agente durmiente" en modelos de lenguaje grandes, revelando una vulnerabilidad crítica en la que neuronas inactivas pueden ser modificadas para crear puertas traseras ocultas. Al alterar solo unos pocos pesos, los atacantes pueden programar una IA para que permanezca benigna durante las operaciones normales mientras espera secretamente un desencadenante específico, como una palabra clave o un mensaje de error. Una vez activada, el modelo comprometido puede ejecutar comandos maliciosos arbitrarios, incluyendo la descarga de código o la exfiltración de datos, convirtiendo efectivamente una herramienta útil en un operativo encubierto. Esta técnica destaca la fragilidad de la integridad de la IA cuando los modelos se despliegan sin una verificación rigurosa. El ataque explota la gran cantidad de neuronas no utilizadas dentro de un modelo, lo que dificulta detectar cambios entre miles de millones de parámetros. Dado que las modificaciones ocurren en partes de la red que rara vez se activan, la funcionalidad estándar parece no verse afectada hasta que el desencadenante específico inicia el comportamiento dañino, planteando un riesgo significativo para las organizaciones que dependen de agentes de IA para tareas automatizadas. Este hallazgo es altamente relevante para los ecosistemas de datos abiertos e IA de código abierto, donde la transparencia es primordial pero la confianza a menudo se asume en lugar de verificarse. Subraya la necesidad de estrictos protocolos de auditoría, como comparar los pesos del modelo con las versiones originales de la fuente, para garantizar la integridad de los datos y el código. Además, insta a restringir los permisos de los agentes de IA para limitar el daño potencial, enfatizando que los modelos abiertos requieren una supervisión de seguridad activa en lugar de una confianza pasiva para prevenir su explotación.

Noticias relacionadas

• La inferencia con Kubernetes va más allá de descargar los pesos del modelo - SiliconANGLE
• Fuga de la aplicación Apple Harbor: una herramienta secreta para Mac agruparía múltiples Macs en un servidor de IA privado, sin necesidad de la nube
• Estudiantes de NUJS denuncian al administrador la supuesta ocultación del primer informe de revisión universitaria; no reciben respuesta
• ¿Quién entrena a la IA creativa? La expansión de Firefly de Adobe pone el foco en las licencias
• La gran captura de datos de IA: Cómo las grandes tecnológicas se esfuerzan cada vez más por obtener datos para entrenar IA.