Investigadores de Google han demostrado que ChatGPT puede filtrar inadvertidamente información personal identificable (PII) a partir de sus datos de entrenamiento, revelando una vulnerabilidad crítica de seguridad en los modelos de lenguaje grandes (LLM). Mediante el uso de prompts adversarios diseñados para interrumpir el comportamiento conversacional estándar del chatbot, los atacantes pueden forzar al sistema a volver a su función base de modelado de lenguaje, lo que provoca que reproduzca textualmente fragmentos de su extenso conjunto de datos de entrenamiento obtenido de Internet. Este problema es especialmente preocupante porque los datos extraídos incluyen detalles personales sensibles, como nombres, direcciones de correo electrónico y números de teléfono, pertenecientes a personas reales. El estudio destaca que estas "vulnerabilidades latentes" permiten la extracción de grandes cantidades de datos privados con un esfuerzo y costo mínimos. Aunque el ataque fue principalmente exitoso contra el modelo gratuito GPT-3.5, utilizado por millones de personas semanalmente, los hallazgos sugieren que incluso modelos más potentes como GPT-4 podrían enfrentar riesgos similares si no se endurecen adecuadamente. El hecho de que estas fugas frecuentes de datos hayan pasado desapercibidas durante tanto tiempo subraya una brecha significativa en la forma en que los sistemas de inteligencia artificial, tanto de código abierto como comerciales, son monitoreados en cuanto al cumplimiento de la privacidad y la memorización de datos. Esta investigación es altamente relevante para la comunidad de datos abiertos, ya que expone la tensión inherente entre la necesidad de disponer de grandes volúmenes de datos públicos para entrenar la IA y la imperativa necesidad de proteger la privacidad individual. Desafía la suposición de que la ingestión de datos de entrenamiento es neutral, demostrando que el raspado web sin filtros puede incrustar información privada en herramientas de acceso público. En consecuencia, esto subraya la urgente necesidad de una curación rigurosa de los datos, mejores técnicas de desidentificación y procesos de auditoría transparentes en el desarrollo de sistemas de IA abiertos, con el fin de prevenir la exposición accidental de datos personales.
Source:Published on 2023-11-30
Related news
- Extracting Training Data from ChatGPT
- Gobernación cruceña reitera su respaldo logístico para el Censo Nacional
- El Portal de Transparencia del Ayuntamiento tuvo 1,7 millones de páginas vistas el pasado año, un 73 % más que en 2019
- Datos abiertos, elemento fundamental para regular inteligencia artificial, plantean en el Senado
- Las pensiones subirán un 3,8% en 2024 al bajar la inflación al 3,2% en noviembre