Cohere for AI unveils Aya, a multilingual open-source AI with 101 languages
La publicación de Aya, un modelo de lenguaje grande (LLM) de código abierto y masivamente multilingüe, aborda una brecha crítica en la inteligencia artificial al ofrecer soporte para 101 idiomas, superando con creces la capacidad de las opciones de código abierto existentes. Esta iniciativa se dirige a la porción significativa de la población mundial que no habla inglés, con el objetivo de evitar que las tecnologías de IA amplíen aún más las disparidades sociales existentes. Al priorizar la inclusión, Aya demuestra cómo los modelos de código abierto pueden servir a audiencias más amplias y desatendidas, en lugar de centrarse únicamente en los grupos lingüísticos dominantes. Un componente central de este esfuerzo es el conjunto de datos que lo acompaña, que contiene cientos de millones de puntos de instrucción que cubren 114 idiomas, incluidos muchos de los más raros y en peligro de extinción. Este recurso permite a los investigadores construir modelos más robustos y precisos para comunidades diversas, ayudando potencialmente en la preservación lingüística y la investigación académica. Las anotaciones de alta calidad, curadas por humanos, aseguran que estos modelos puedan comprender contextos lingüísticos complejos, proporcionando una herramienta fundamental para desarrolladores que anteriormente carecían de acceso a datos para idiomas no mainstream. Este artículo es altamente relevante para open_data porque destaca la importancia de conjuntos de datos de alta calidad y diversos en la democratización del acceso a la tecnología avanzada. Ilustra cómo las iniciativas de código abierto pueden aprovechar las contribuciones impulsadas por la comunidad para crear recursos que los modelos propietarios suelen pasar por alto. Al hacer que estos extensos datos multilingües estén disponibles gratuitamente, el proyecto empodera a una gama más amplia de desarrolladores e investigadores para innovar, asegurando que los beneficios de la IA se distribuyan de manera más equitativa entre diferentes culturas e idiomas a nivel global.
Source: siliconangle.comPublished on 2024-02-14