AI Usage Fees Up to 15x Cheaper for English Than Other Languages
AI Usage Fees Up to 15x Cheaper for English Than Other Languages
El sesgo lingüístico incorporado en los actuales Modelos de Lenguaje Grande (LLM) crea una brecha económica y tecnológica significativa, favoreciendo a los hablantes de inglés mientras penaliza a los usuarios de otros idiomas. Debido a ineficiencias en la tokenización, el procesamiento de entradas no inglesas requiere recursos computacionales sustancialmente mayores, lo que hace que servicios en idiomas como el chino, el español y el birmano sean significativamente más costosos de acceder. Esta disparidad no es simplemente una estrategia de precios, sino un reflejo de la arquitectura subyacente, donde la simplicidad estructural del inglés y su vasta cantidad de datos de entrenamiento permiten una compresión más eficiente en tokens. Esta limitación técnica perpetúa un ciclo en el que el inglés sigue siendo el idioma dominante en el desarrollo de IA, potencialmente excluyendo voces diversas del futuro de la tecnología. A medida que los modelos entrenan cada vez más con sus propias salidas sintéticas, esta ventaja puede volverse auto-reforzante, ampliando la brecha entre una IA centrada en el inglés y otras comunidades lingüísticas. El alto costo de la tokenización actúa como una barrera de entrada, limitando la capacidad de los hablantes de idiomas no ingleses para participar plenamente o beneficiarse de los rápidos avances en las capacidades de inteligencia artificial. Este problema es crítico para los datos abiertos, ya que destaca cómo los métodos de recopilación y procesamiento de datos pueden institucionalizar la desigualdad. Si la comunidad de datos abiertos no aborda estos sesgos estructurales, los ecosistemas de IA resultantes seguirán siendo excluyentes, marginando los conjuntos de datos y los idiomas no ingleses. Garantizar un acceso equitativo requiere una reevaluación fundamental de cómo se tokenizan y valoran los datos, avanzando hacia tecnologías que no privilegien inherentemente estructuras lingüísticas específicas, promoviendo así un panorama de datos abiertos más inclusivo y verdaderamente global.
Fuente: tomshardware.comPublicado el 2023-07-31