AI4Bharat releases Hindi LLM ‘Airavata’ - ET Telecom
AI4Bharat ha lanzado Airavata, un modelo de lenguaje grande (LLM) de código abierto diseñado específicamente para el hindi, lo que marca un hito significativo en el ámbito de la inteligencia artificial lingüística en la India. Basado en OpenHathi de SarvamAI y mejorado con conjuntos de datos diversos de ajuste por instrucciones, el modelo muestra un rendimiento alentador en comparación con otras alternativas de código abierto. Este lanzamiento constituye un paso fundamental hacia el desarrollo de LLMs de código abierto de alta calidad para todos los idiomas indicados incluidos en la lista oficial, abordando la escasez crítica de datos de entrenamiento locales. La iniciativa enfatiza la sostenibilidad y la accesibilidad al utilizar conjuntos de datos curados por humanos y con licencias permisivas, en lugar de depender de datos derivados (distilled) de modelos propietarios. Este enfoque evita restricciones de licencias costosas, asegurando que las aplicaciones derivadas permanezcan libres de uso. Al compartir tanto el modelo como sus conjuntos de datos de ajuste por instrucciones, el proyecto busca empoderar una investigación y desarrollo más amplios dentro de la comunidad de LLMs en idiomas indios, fomentando un ecosistema más inclusivo y accesible para la IA multilingüe. Sin embargo, el equipo reconoce limitaciones inherentes, incluidos los riesgos de alucinaciones, sesgos y dificultades para abordar temas complejos o sutilezas culturales. A pesar de estos desafíos, Airavata representa un avance crucial en los esfuerzos de datos abiertos para idiomas no ingleses. Destaca la importancia de la curación transparente y comunitaria de datos en la construcción de sistemas de IA equitativos que respeten los contextos locales mientras permanecen abiertamente disponibles para la innovación y adaptación global.
Source: telecom.economictimes.indiatimes.comPublished on 2024-01-26
Related news
- Hugging Face and Google partner for open AI collaboration
- Google Cloud, Hugging Face join hands to accelerate Generative AI, ML Development
- Google Cloud, Hugging Face Partner on AI Development
- Google Cloud and Hugging Face ink AI infrastructure partnership
- Google Cloud partners with Hugging Face to attract AI developers