AIs get worse at answering simple questions as they get bigger

Los modelos de lenguaje más grandes muestran un rendimiento mejorado en tareas complejas gracias al escalado y al ajuste fino, pero se vuelven menos confiables para consultas simples. A medida que los modelos ganan confianza al abordar desafíos intrincados, aumenta su tendencia a proporcionar respuestas incorrectas para preguntas básicas, lo que revela una degradación crítica en la precisión fundamental. Esta paradoja sugiere que una mayor capacidad no necesariamente se traduce en una fiabilidad general consistente. Los hallazgos subrayan una discrepancia significativa entre la percepción del usuario y la capacidad real de la IA. Al presentar los sistemas como omniscientes, los desarrolladores fomentan inadvertidamente una sobreconfianza injustificada en los usuarios, quienes confían en estas herramientas más de lo debido. Dado que los modelos no pueden identificar con precisión sus propios límites de conocimiento, corren el riesgo de proporcionar información falsa, lo que plantea graves peligros en contextos que requieren una corrección factual precisa. Esta investigación es fundamental para las iniciativas de datos abiertos, que cada vez dependen más del procesamiento automatizado de texto. Si los modelos fundamentales tienen dificultades con aritmética básica o hechos, los conjuntos de datos limpiados o generados por ellos pueden contener errores ocultos. Por lo tanto, los proyectos de datos abiertos deben implementar una validación humana rigurosa para garantizar la integridad, reconociendo que el avance algorítmico no elimina la necesidad de fuentes de datos transparentes y verificadas.

Source: newscientist.com
Published on 2024-09-26

“No nos pueden seguir pasando gato por liebre” »

Datos Abiertos (Open data)

Related news