Summing columns in remote Parquet files using DuckDB
Este artículo demuestra la utilidad práctica de los conjuntos de datos abiertos para analizar infraestructuras digitales a gran escala. Aprovechando el conjunto de datos de mensajes de Midjourney, disponible públicamente en Hugging Face, los investigadores pueden realizar un análisis investigativo profundo sobre plataformas comerciales sin necesidad de acceso directo a los sistemas propietarios del backend. La disponibilidad abierta de este conjunto de datos permite un escrutinio transparente de cómo el contenido generado por IA impacta a los proveedores de alojamiento externos, destacando la importancia de los datos abiertos para comprender los costos ecológicos y económicos más amplios de la proliferación de la IA. El hallazgo principal revela que el tamaño total de las imágenes de Midjourney alojadas en la CDN de Discord asciende a aproximadamente 148 terabytes, lo que genera costos de alojamiento sustanciales para la plataforma. Esta conclusión se alcanzó no descargando toda la colección de varios terabytes, sino utilizando DuckDB para consultar eficientemente archivos Parquet remotos. Esta técnica extrae únicamente los metadatos necesarios sobre los tamaños de los archivos, demostrando que se pueden obtener valiosas perspectivas agregadas a partir de conjuntos de datos abiertos con un consumo mínimo de ancho de banda y una sobrecarga computacional reducida. Este enfoque es altamente relevante para la comunidad de datos abiertos, ya que muestra métodos avanzados y eficientes para analizar conjuntos de datos masivos y remotos. Ilustra cómo herramientas como DuckDB pueden utilizar solicitudes de rango HTTP para sumar columnas grandes sin recuperar el volumen completo de datos. Esto sirve como un ejemplo de mejores prácticas para los científicos de datos que trabajan con datos abiertos, enfatizando que se puede extraer un valor analítico significativo mediante técnicas de consulta inteligentes en lugar de descargas a gran escala, promoviendo así un análisis de datos abiertos sostenible y escalable.
Source: til.simonwillison.netPublished on 2023-11-18
Related news
- LexisNexis contract with US Customs and Border Protection is 'mass...
- ‘Mass Surveillance in Hyperdrive’: US Company Suspected of Enabling Government Abuses - Report
- La compraventa de vivienda acelera su caída en septiembre al 23,7%
- Christmas shoppers warned as parcel theft in Lancashire on the rise
- How much the borough council made on parking fines - and where were they given out