Pillar Security Uncovers Novel Attack Vector That Embeds Malicious Backdoors in Model Files on Hugging Face

Los investigadores han identificado una vulnerabilidad crítica en la cadena de suministro del formato de modelo GGUF, ampliamente utilizado, que permite a los atacantes incrustar instrucciones maliciosas dentro de las plantillas de chat de IA. Esta técnica, conocida como "Plantillas GGUF Envenenadas", posibilita que el código dañino persista en los archivos de los modelos y desencadene salidas comprometidas cuando se encuentran indicaciones específicas. A diferencia de los ataques tradicionales, este método elude los controles de seguridad estándar, ya que la vulnerabilidad se produce dentro del entorno de inferencia confiable, siendo invisible tanto para los usuarios como para los sistemas convencionales de filtrado de entrada y salida. Este hallazgo es altamente relevante para los datos abiertos, pues expone una grave brecha de confianza en el ecosistema de IA de código abierto. Las plataformas públicas que alojan millones de modelos contribuidos por la comunidad carecen actualmente de mecanismos robustos para verificar la integridad de estos archivos. La discrepancia entre cómo aparecen los modelos en las interfaces de los repositorios y lo que realmente se ejecuta localmente destaca la necesidad urgente de mejorar el seguimiento de la procedencia. Sin una validación estandarizada, la naturaleza abierta de estos repositorios se convierte en un vector para la contaminación generalizada y no detectada de los activos de IA. En consecuencia, la industria debe pasar de depender exclusivamente de las defensas basadas en indicaciones a implementar una inspección exhaustiva de las plantillas y la firma de modelos. Se insta a los equipos de seguridad a auditar los archivos GGUF en busca de lógica sospechosa y a adoptar estrategias de procedencia para garantizar que solo se utilicen plantillas verificadas en entornos de producción. Este incidente subraya la necesidad urgente de que la comunidad de datos abiertos madure sus prácticas de seguridad, replanteando cómo se comparten y protegen los activos de IA para evitar que amenazas profundamente incrustadas comprometan las aplicaciones downstream.

Fuente: portal.sina.com.hk
Publicado el 2025-07-10

Pillar Security Uncovers Novel Attack Vector That Embeds Malicious Backdoors in Model Files on Hugging Face

Noticias relacionadas