Google's Newest A.I. Model Uses Nearly Five Times More Text Data for Training Than Its Predecessor
Google's Newest A.I. Model Uses Nearly Five Times More Text Data for Training Than Its Predecessor
El artículo destaca una tendencia significativa en el desarrollo de modelos de lenguaje grandes, en la que las principales empresas tecnológicas están logrando un rendimiento superior al aumentar exponencialmente el volumen de sus datos de entrenamiento, mientras optimizan simultáneamente la eficiencia del modelo. Este cambio sugiere que la industria está priorizando la escala de los datos y las técnicas de escalado optimizadas en términos de capacidad de cómputo para mejorar las capacidades en programación, matemáticas y tareas creativas, incluso cuando los parámetros subyacentes del modelo pueden disminuir. Este enfoque permite generar salidas más sofisticadas sin un aumento proporcional en la sobrecarga computacional, marcando una evolución crítica en la forma en que se diseñan los sistemas de inteligencia artificial para una aplicabilidad más amplia. Sin embargo, este rápido avance está oscurecido por una grave falta de transparencia respecto a la composición específica y la escala de los conjuntos de datos de entrenamiento. Principales proveedores como Google y OpenAI tratan estas métricas como secretos competitivos, resistiéndose a las demandas de los investigadores para que las revelen. Esta opacidad es cada vez más controvertida, habiendo llevado a renuncias de alto perfil y a la escrutinio legislativo, ya que la comunidad investigadora y el público argumentan que comprender los datos de entrenamiento es esencial para evaluar el comportamiento, los sesgos y la seguridad de los modelos. La ausencia de estándares claros crea un déficit de confianza en una era en la que las herramientas de IA se están integrando profundamente en la vida cotidiana y en los flujos de trabajo profesionales. Esta situación es altamente relevante para los datos abiertos, ya que subraya la urgente necesidad de información estandarizada y accesible sobre los corpus de entrenamiento de IA. Sin prácticas transparentes y abiertas de datos respecto al tamaño, origen y diversidad de los textos de entrenamiento, es difícil para los investigadores replicar resultados, auditar la equidad o desarrollar benchmarks confiables. A medida que los sistemas de IA se vuelven más poderosos y omnipresentes, la demanda de datos abiertos va más allá de la simple disponibilidad de conjuntos de datos, e incluye los metadatos y detalles estructurales necesarios para el rigor científico y la innovación responsable, asegurando que los beneficios de estas tecnologías se equilibren con los posibles riesgos sociales.
Fuente: nbcphiladelphia.comPublicado el 2023-05-17