AI text-to-image generators being trained on images of child sexual abuse: Study
Un estudio reciente del Stanford Internet Observatory revela que miles de imágenes que representan abuso sexual infantil estaban presentes en el conjunto de datos LAION, un recurso de código abierto ampliamente utilizado para entrenar modelos de generación de imágenes con inteligencia artificial. Este descubrimiento destaca una falla crítica en los mecanismos actuales de filtrado de seguridad para conjuntos de datos a escala web, demostrando que contenido ilícito y dañino puede persistir incluso en sistemas diseñados con rigurosos protocolos de cribado. Los hallazgos cuestionan la suposición de que el abuso generado por IA es simplemente una síntesis de conceptos benignos, mostrando en cambio que los modelos se entrenan directamente con material ilegal real. Esta contaminación impacta significativamente el potencial de las herramientas de IA para generar contenido explícito que involucre a menores, incluyendo deepfakes e imágenes no consentidas. La presencia de este material plantea serias preocupaciones éticas y legales respecto a la explotación comercial de las víctimas y la perpetuación del daño. Los investigadores argumentan que los riesgos asociados con los conjuntos de datos abiertos y no curados son demasiado graves para su despliegue público, ya que inevitablemente contienen no solo contenido ilegal, sino también imágenes íntimas no consentidas y material con derechos de autor que violan la privacidad y los derechos de propiedad intelectual. El estudio insta a la comunidad de datos abiertos a reconsiderar la práctica de liberar conjuntos de datos masivos y no verificados al público. En su lugar, aboga por restringir estos datos a entornos de investigación controlados y desarrollar alternativas más curadas y con fuentes bien documentadas para los modelos públicos. Aunque LAION ha respondido retirando temporalmente sus conjuntos de datos para su limpieza y colaboración con organizaciones de seguridad, el incidente subraya la necesidad urgente de una gobernanza más estricta y estándares éticos en la forma en que los datos abiertos se recopilan, filtran y distribuyen para prevenir mayor explotación y daño.
Source: courthousenews.comPublished on 2023-12-21