La investigación revela que los modelos de lenguaje grandes, a pesar de producir salidas superficiales altamente precisas, como instrucciones de navegación, no logran desarrollar modelos mentales coherentes del mundo real. Cuando se enfrentan a cambios inesperados, como cierres de carreteras o desvíos, estos sistemas experimentan una caída drástica en su rendimiento, lo que indica que dependen del emparejamiento de patrones en lugar de una comprensión genuina de las reglas espaciales. Esta fragilidad sugiere que los sistemas de IA desplegados en escenarios dinámicos del mundo real, como la conducción autónoma, son propensos a fallos críticos cuando los entornos se desvían de los datos de entrenamiento. El estudio destaca una brecha significativa entre la capacidad de la IA para generar respuestas plausibles y su comprensión real de las estructuras subyacentes. Incluso cuando los modelos tienen éxito en tareas estáticas, carecen de la lógica interna robusta necesaria para adaptarse a restricciones novedosas. Este hallazgo cuestiona la suposición común de que las impresionantes capacidades lingüísticas implican un conocimiento profundo del mundo, instando a una evaluación más rigurosa de cómo los sistemas de IA procesan e interpretan entornos complejos basados en reglas, más allá de la simple correlación de datos. Esta perspectiva es crucial para los datos abiertos, ya que subraya las limitaciones de utilizar la IA para analizar o generar conjuntos de datos estructurados a partir de fuentes abiertas. Si la IA no puede modelar con precisión las reglas básicas del mundo real, confiar en ella para la síntesis o interpretación de datos abiertos corre el riesgo de propagar errores y generar conclusiones poco confiables. Los investigadores y los responsables políticos deben priorizar prácticas de datos transparentes y verificables sobre la confianza en las conclusiones generadas por la IA, asegurando que las iniciativas de datos abiertos se mantengan fundamentadas en la precisión factual en lugar de la ilusión algorítmica.
Source: livescience.comPublished on 2024-11-17