AI poisoning: Anthropic study finds just 250 malicious files can compromise the largest LLMs
AI poisoning: Anthropic study finds just 250 malicious files can compromise the largest LLMs
Investigaciones colaborativas recientes cuestionan la suposición de que los modelos de lenguaje grandes requieren volúmenes masivos de datos maliciosos para ser comprometidos. En cambio, los estudios muestran que tan solo 250 documentos envenenados pueden implantar vulnerabilidades de puerta trasera, independientemente del tamaño del modelo. Este hallazgo reduce significativamente la barrera para los atacantes, lo que sugiere que comprometer sistemas potentes de inteligencia artificial es mucho más factible de lo que se creía anteriormente. Dado que estos modelos se entrenan con texto disponible públicamente en Internet, los atacantes pueden inyectar sutilmente frases detonantes en sitios web o blogs. Estos detonantes ocultos permiten a los adversarios manipular el comportamiento del modelo, como provocar fugas de datos o difundir desinformación, sin ser detectados. La dependencia de datos de la web abierta crea una vulnerabilidad crítica, ya que cualquier persona puede introducir, de forma inadvertida o intencional, contenido dañino que luego se absorbe en el corpus de entrenamiento. Esto es altamente relevante para los datos abiertos, ya que destaca los riesgos de seguridad inherentes al uso de conjuntos de datos públicos no verificados. Subraya la necesidad urgente de aplicar rigurosas prácticas de higiene de datos, seguimiento del origen de los datos y estándares de auditoría. Garantizar la integridad de las fuentes de datos abiertos es esencial para mantener la confianza y la seguridad en las aplicaciones de inteligencia artificial, especialmente a medida que estos sistemas se integran cada vez más en infraestructuras críticas.
Fuente: digitimes.comPublicado el 2025-10-28