University of Oxford researchers make AI safety breakthrough

Los investigadores han desarrollado un método para proteger los modelos de lenguaje de peso abierto frente a actualizaciones maliciosas, filtrando el conocimiento dañino durante el entrenamiento. Este enfoque incorpora la seguridad desde el inicio, centrándose específicamente en las amenazas biológicas, y evita que los modelos adquieran capacidades peligrosas incluso después de intentos posteriores de entrenamiento. Esta estrategia aborda el desafío crítico de asegurar la inteligencia artificial accesible públicamente sin obstaculizar la transparencia ni la investigación colaborativa. La técnica emplea una canalización de filtrado en múltiples etapas que elimina selectivamente el contenido de alto riesgo, preservando la utilidad general del modelo y su rendimiento en tareas estándar. Al eliminar la información no deseada desde etapas tempranas, el método resulta significativamente más efectivo que las técnicas existentes de ajuste fino de seguridad. Esto garantiza que los desarrolladores puedan mantener la calidad del modelo mientras reducen sustancialmente el riesgo de mal uso o explotación por parte de actores malintencionados. Este avance es vital para la comunidad de datos abiertos, ya que ofrece una forma escalable de equilibrar la seguridad con la innovación en la inteligencia artificial de código abierto. Proporciona un marco robusto para distribuir modelos de IA que permanezcan seguros frente a modificaciones adversarias. En consecuencia, fomenta un entorno más seguro para la experimentación y el desarrollo público, asegurando que los modelos de peso abierto puedan compartirse ampliamente sin representar riesgos significativos para la sociedad.

Fuente: thisisoxfordshire.co.uk
Publicado el 2025-08-21

University of Oxford researchers make AI safety breakthrough

Noticias relacionadas