Los modelos de lenguaje grandes son críticamente vulnerables a la desinformación, ya que incluso cantidades mínimas de datos falsos en los conjuntos de entrenamiento pueden alterar significativamente su comportamiento y sus salidas. La investigación demuestra que cuando tan solo el 0,001 por ciento de los datos de entrenamiento está corrupto, el modelo propaga información inexacta no solo en los temas objetivo, sino también en asuntos no relacionados. Este hallazgo revela que la desinformación en línea, ampliamente difundida, puede envenenar inadvertidamente los sistemas de inteligencia artificial, planteando serias preocupaciones sobre la fiabilidad del contenido generado por IA, especialmente en campos de alto riesgo como la medicina, donde la precisión es primordial. El estudio destaca una grave brecha en la detección, ya que las métricas estándar de rendimiento no lograron distinguir entre modelos comprometidos y modelos legítimos, a pesar de la presencia de contenido dañino. Además, las intervenciones posteriores al entrenamiento, como el ajuste por instrucciones (instruction tuning), resultaron ineficaces para mitigar el impacto de los datos envenenados. Esta falta de métodos de validación robustos representa un desafío significativo para garantizar la confiabilidad de los sistemas de IA, especialmente a medida que los modelos de lenguaje grandes se integran cada vez más en servicios públicos y motores de búsqueda, lo que podría amplificar la información falsa ante una amplia audiencia. Esta investigación es altamente relevante para la comunidad de datos abiertos, ya que subraya la urgente necesidad de una curación rigurosa de los datos y de controles de calidad en los conjuntos de datos de código abierto. Sugiere que simplemente poner los datos a disposición no es suficiente; las iniciativas de datos abiertos deben abordar activamente la integridad de las fuentes de información para prevenir la propagación sistémica de errores. El estudio fomenta el desarrollo de algoritmos de validación avanzados, como aquellos que contrastan las salidas con grafos de conocimiento verificados, para proteger los modelos de IA de código abierto tanto contra ataques intencionales como contra la contaminación incidental inherente a los datos de la web abierta.
Source: techspot.comPublished on 2025-01-11
Related news
- Running Out of AI Training Data? Elon Musk Claims The World Is Facing a Shortage at CES 2025
- ¿Adiós a la IA? Los expertos señalan que se queda sin datos para entrenar
- Why Synthetic Data Will Transform AI Data Licensing
- En el primer año de Milei, el presupuesto de las universidades cayó un 30%
- Nvidia unveils Cosmos, a platform for accelerating the development of AI models in the physical world – NaturalNews.com