EleutherAI releases massive AI training dataset of licensed and open domain text | TechCrunch

EleutherAI ha presentado Common Pile v0.1, un masivo conjunto de datos de ocho terabytes compuesto por texto completamente licenciado y de dominio público, diseñado para entrenar modelos de inteligencia artificial de alto rendimiento sin depender de material protegido por derechos de autor. Al curar este recurso en consulta con expertos legales y aprovechando archivos de dominio público, la organización busca demostrar que los datos de acceso abierto pueden igualar en calidad a los conjuntos de datos propietarios. Esta iniciativa desafía directamente la narrativa predominante en la industria, que sostiene que el raspado web no licenciado es esencial para lograr un rendimiento superior en IA, ofreciendo una alternativa viable y conforme a la ley para entrenar modelos de lenguaje de gran escala de próxima generación. El lanzamiento constituye una respuesta significativa a las disputas legales que actualmente afectan a las principales empresas tecnológicas, las cuales argumentan que el uso justo (fair use) las exime de responsabilidad al utilizar obras protegidas por derechos de autor para el entrenamiento. EleutherAI sostiene que estas demandas han impactado gravemente la transparencia dentro de la comunidad investigadora, dificultando la comprensión del funcionamiento interno de los modelos y desincentivando la publicación de estudios centrados en los datos. Al proporcionar un conjunto de datos transparente y completamente licenciado, la organización resalta cómo las presiones legales están obstaculizando la investigación abierta y la colaboración, limitando así la capacidad de la comunidad científica en su conjunto para innovar y evaluar eficazmente las tecnologías de IA. Este avance es crucial para el movimiento de datos abiertos, ya que demuestra que la obtención ética de datos no requiere comprometer la capacidad de los modelos. Fomenta un cambio hacia prácticas de desarrollo de IA sostenibles y transparentes que respeten los derechos de propiedad intelectual mientras mantienen altos estándares de rendimiento. Al comprometerse a liberar más conjuntos de datos abiertos, EleutherAI establece un precedente para la industria de la IA, sugiriendo que el crecimiento del contenido accesible y con licencias abiertas puede sostener los avances en inteligencia artificial sin la carga legal y ética asociada al raspado no autorizado de datos.

Fuente: techcrunch.com
Publicado el 2025-06-07

EleutherAI releases massive AI training dataset of licensed and open domain text | TechCrunch

Noticias relacionadas