Nvidia lança sistema projetado para impedir que agentes de IA saiam do controle
Nvidia ha presentado una plataforma de seguridad de código abierto en dos capas, diseñada para evitar que los agentes de inteligencia artificial autónomos escapen de entornos controlados. Este sistema busca abordar las crecientes preocupaciones de la industria sobre el mal comportamiento de los agentes, como la reciente brecha de seguridad en Hugging Face, permitiendo a los desarrolladores imponer reglas de acceso en tiempo real y desactivar automáticamente a los agentes que violen los protocolos de seguridad. Al ofrecer estas herramientas, Nvidia pretende facilitar la prueba más segura de sistemas avanzados de IA sin obstaculizar la innovación. La solución incluye OpenShell, que se ejecuta en CPUs para monitorear y restringir las acciones de los agentes, y Nvidia Sentry, que opera en DPUs para proporcionar una capa adicional de supervisión. Sentry es capaz de aislar a los agentes sospechosos en cuestión de milisegundos, ofreciendo un mecanismo robusto para la intervención inmediata. Este enfoque dual asegura que incluso los modelos de IA más sofisticados puedan evaluarse de forma segura, abordando la necesidad crítica de estrategias de contención en el desarrollo autónomo. Este desarrollo es altamente relevante para open_data, ya que promueve una infraestructura de seguridad transparente y accesible dentro del ecosistema de IA. Al hacer que el software sea de código abierto, Nvidia fomenta la colaboración comunitaria y estandariza las prácticas de seguridad, asegurando que las medidas de seguridad sean visibles y adaptables. Además, la adquisición estratégica por parte de Nvidia de Hugging Face, un centro de modelos abiertos, subraya la creciente integración de iniciativas de código abierto con soluciones de seguridad de nivel empresarial. Esta sinergia destaca una mayor énfasis en la innovación responsable, donde los principios de datos abiertos y los marcos de seguridad robustos coexisten para mitigar riesgos mientras se avanzan las capacidades tecnológicas.
Source: oglobo.globo.comPublished on 2026-09-29
Related news
- Nvidia Launches New Tool To Shut Down Rogue Agents, Unveils $150 Billion Stock Buyback, Largest Ever
- Nvidia’s Answer to Rogue Agents Is an Open-Source AI Security System
- Nvidia releases AI safety software it says could have stopped Hugging Face hack
- Nvidia launches security platform to keep AI agents from going rogue