GAO warns of privacy, transparency issues in commercial generative AI development

GAO warns of privacy, transparency issues in commercial generative AI development | Biometric Update

Un reciente informe de la Oficina de Responsabilidad Gubernamental (GAO, por sus siglas en inglés) revela que, a pesar de los esfuerzos comerciales por monitorear los modelos de inteligencia artificial generativa después de su implementación, estos sistemas siguen siendo vulnerables a ataques, imprecisiones factuales y sesgos inherentes. Los desarrolladores suelen priorizar destacar las nuevas capacidades en lugar de revelar estas limitaciones críticas, lo que genera importantes preocupaciones en materia de confianza y seguridad. Los hallazgos destacan un panorama precario en el que el juicio del usuario es esencial, pero que con frecuencia se ve socavado por las “alucinaciones” y sofisticados ataques de inyección de instrucciones (prompt injection) que pueden eludir las barreras de seguridad con un esfuerzo técnico mínimo. La transparencia respecto a los datos de entrenamiento es notablemente deficiente, ya que los desarrolladores frecuentemente clasifican los conjuntos de datos propietarios como confidenciales, lo que impide el escrutinio público sobre cómo se curan la información sensible o sesgada. Esta opacidad exacerba los riesgos de privacidad, dado que resulta difícil e inconsistente eliminar la información de identificación personal de grandes conjuntos de datos. La GAO critica esta tendencia, señalando que las divulgaciones actuales no cumplen con las directrices de los investigadores, lo que dificulta evaluar la eficacia de las políticas internas de confianza y seguridad, así como garantizar que las directrices de diversidad y ética se apliquen genuinamente durante el desarrollo de los modelos. Este artículo es crucial para los defensores de los datos abiertos, porque subraya la urgente necesidad de una documentación de datos estandarizada, accesible y verificable en el sector de la inteligencia artificial. Sin conjuntos de datos de entrenamiento transparentes, la comunidad no puede auditar eficazmente los algoritmos en busca de equidad, seguridad o contaminación de los datos. El informe valida el principio de los datos abiertos de que la verdadera rendición de cuentas en la inteligencia artificial requiere ir más allá de las tarjetas de modelo vagas hacia la divulgación pública y detallada del origen de los datos y las metodologías de procesamiento, lo que permite la verificación independiente y fomenta la confianza del público en las tecnologías emergentes.

Source: biometricupdate.com
Published on 2024-10-25

Exploring Open Collaboration In The Water Industry »

Datos Abiertos (Open data)

Related news