Investigaciones recientes destacan sesgos significativos en los modelos de lenguaje grandes (LLM) utilizados en procesos de contratación, revelando que las actuales medidas de seguridad a menudo no logran detectar daños sutiles y sistémicos. Si bien los modelos propietarios, como ChatGPT, presentan un rendimiento superior al de las alternativas de código abierto, ambas categorías generan contenido discriminatorio en relación con la raza y el sistema de castas al evaluar candidatos. Esto indica que las protecciones existentes, de carácter occidentalocéntrico, son insuficientes para abordar las amenazas encubiertas en contextos de reclutamiento diversos y globales. Los hallazgos del estudio subrayan la urgente necesidad de desarrollar marcos de evaluación robustos e inclusivos desde el punto de vista cultural para los agentes de inteligencia artificial. Al exponer cómo los modelos perpetúan estereotipos en entornos profesionales, la investigación demuestra que confiar en las configuraciones predeterminadas deja a las organizaciones vulnerables a resultados discriminatorios. La disparidad en el rendimiento entre los modelos propietarios y los de código abierto sugiere que la transparencia y las pruebas rigurosas son esenciales antes de implementar estas herramientas en decisiones de gran impacto. Este artículo es fundamental para los defensores de los datos abiertos, ya que expone la opacidad de los sistemas de IA propietarios y los riesgos asociados con los modelos de código abierto no regulados en aplicaciones de alto riesgo. Aboga por métodos de evaluación estandarizados y transparentes que tengan en cuenta conceptos culturales no occidentales, cuestionando el enfoque actual de "salvaje oeste" en la implementación de la IA. En última instancia, insta a cambios en las políticas que garanticen interacciones justas e igualitarias con la IA en todos los grupos demográficos.
Source: newswise.comPublished on 2024-11-21