AI scores high in China’s ‘gaokao’ language tests, low in math
Un estudio reciente que evaluó los principales modelos de inteligencia artificial (IA) de código abierto y propietarios en el examen nacional de ingreso a la universidad en China revela un marcado contraste en sus capacidades entre distintas asignaturas. Los modelos mostraron una sólida competencia en tareas basadas en el lenguaje, especialmente en inglés y en literatura china moderna, alcanzando altas tasas de precisión en comprensión y generación de texto. Sin embargo, su desempeño en matemáticas fue significativamente más débil, lo que pone de manifiesto una limitación actual en la aplicación del razonamiento lógico y la resolución de problemas complejos en comparación con los seres humanos. Esta disparidad sugiere que el desarrollo actual de la inteligencia artificial prioriza en gran medida el procesamiento del lenguaje humano sobre la lógica matemática y el cálculo. Los investigadores descubrieron que, si bien la IA destaca en la resumización de grandes volúmenes de datos y en la comprensión de estilos textuales contemporáneos, tiene dificultades con los matices del chino clásico, con la organización coherente de respuestas temáticas y con la aplicación rápida de fórmulas a nuevos problemas. Esto indica que la tecnología está más avanzada en el reconocimiento de patrones y la memorización que en el razonamiento deductivo genuino o en la creación de contenido novedoso. Esta investigación es relevante para open_data porque evalúa el rendimiento de modelos accesibles de código abierto junto con modelos propietarios, proporcionando información valiosa sobre sus capacidades en el mundo real. Comprender estas limitaciones ayuda a la comunidad de datos abiertos a reconocer que, aunque la IA es poderosa para el análisis y la resumización de textos, requiere una validación cuidadosa y supervisión humana para tareas que implican lógica, pensamiento crítico y aplicación matemática. Además, subraya la importancia de contar con datos de entrenamiento diversos y destaca las áreas en las que los modelos de código abierto necesitan un mayor perfeccionamiento para lograr una utilidad más amplia.
Source: asianews.networkPublished on 2024-06-25