Rolling the cyber dice with open-source and open-weight AI models

Rolling the cyber dice with open-source and open-weight AI models

La investigación demuestra que los modelos de inteligencia artificial pueden ser envenenados de forma encubierta con cantidades insignificantes de datos, generando comportamientos ocultos que eluden las auditorías estándar de los corpus. Esta asimetría en la detección representa un riesgo de seguridad significativo, ya que verificar la integridad de los pesos es computacionalmente prohibitivo, lo que deja a las organizaciones vulnerables ante amenazas invisibles al elegir proveedores de modelos. Esta incertidumbre se vuelve crítica al contrastar las versiones con pesos abiertos con los modelos verdaderamente de código abierto. El reciente lanzamiento de Meta pone de manifiesto la peligrosa confusión en la industria entre pesos abiertos y apertura total, al excluir los datos de entrenamiento y el código. Esta distinción es fundamental para las evaluaciones de transparencia y seguridad en los ecosistemas de datos abiertos. En consecuencia, la falta de modelos abiertos robustos en Estados Unidos podría obligar a depender de alternativas extranjeras opacas. Reforzar las iniciativas genuinas de datos abiertos es esencial para mantener la soberanía y garantizar una infraestructura de IA fiable y auditable frente a las amenazas sigilosas emergentes.

Noticias relacionadas

• Open-weight AI models are more vulnerable to manipulation and can lack oversight. Here's what to know.
• OpenAI sacks 3 researchers over leaking 'sensitive' info, ChatGPT maker alerts over 100 organizations about rogue AI agent activity
• OpenAI Sued for AI Agent Hacks
• Open-weight models power private AI on NetApp and Iterate.ai - SiliconANGLE
• US AI Giants Asked to Disclose Any Chinese Attempts to Obtain Closely Guarded Model Weights