AIs get worse at answering simple questions as they get bigger
Los modelos de lenguaje grandes se vuelven cada vez menos confiables cuando se escalan o se ajustan mediante retroalimentación humana, mostrando un rendimiento mejorado en tareas complejas pero una precisión empeorada en consultas simples. Esta divergencia sugiere que, a medida que los modelos intentan responder a todas las preguntas, sus tasas de rechazo disminuyen mientras aumenta la probabilidad de proporcionar respuestas incorrectas. En consecuencia, los usuarios pueden encontrar respuestas seguras pero erróneas ante preguntas básicas, lo que socava la competencia percibida de estos sistemas. El estudio destaca una falta crítica de autoconciencia en la IA, que no logra reconocer los límites de su propio conocimiento, a diferencia de los seres humanos. Esta limitación crea un entorno peligroso donde los desarrolladores a menudo presentan a la IA como omnisciente, fomentando un nivel poco saludable de confianza y sobredependencia por parte de los usuarios. La discrepancia entre la confianza del sistema y su tasa real de errores representa un riesgo significativo para los procesos de toma de decisiones que dependen de información precisa. Este hallazgo es crucial para open_data, ya que subraya la necesidad de protocolos de evaluación rigurosos y transparentes. Las iniciativas de datos abiertos pueden ayudar a identificar estas fallas sistemáticas al proporcionar benchmarks diversos y estandarizados para probar la fiabilidad de los modelos. Al hacer accesibles los datos de evaluación, la comunidad puede desarrollar mejores métricas para la veracidad y la incertidumbre, asegurando que la transparencia de la IA conduzca a tecnologías más seguras y responsables.
Source: newscientist.comPublished on 2024-10-03