Nvidia announces raft of 'NIMs' to speed up Gen AI apps
Nvidia ha ampliado significativamente su ecosistema NIM, que ahora cuenta con más de un centenar de microservicios preempaquetados que agilizan el despliegue de modelos de IA optimizados. Al contenerar tanto modelos comerciales como de código abierto, Nvidia permite a los desarrolladores integrar fácilmente capacidades como la generación aumentada por recuperación (RAG) y el reconocimiento de voz en sus aplicaciones. Esta expansión da soporte a diversos sectores, desde la robótica hasta la biología digital, e integra estándares del sector como Open USD para facilitar mejores herramientas de simulación 3D y colaboración entre equipos. Una innovación clave es la colaboración con Hugging Face para ofrecer “Inferencia como servicio” (Inference-as-a-service), que se ejecuta sobre la infraestructura en la nube de Nvidia. Este servicio mejora drásticamente el rendimiento, permitiendo que modelos como Llama 3.1 de Meta operen hasta cinco veces más rápido que en hardware estándar. Aunque el servicio se centra actualmente en los NIMs seleccionados por Nvidia, demuestra cómo las capas de software optimizadas pueden maximizar la eficiencia de los modelos de código abierto y de socios, reduciendo la fricción habitual asociada con la ejecución de cargas de trabajo de IA complejas. Este desarrollo es altamente relevante para las comunidades de datos abiertos y código abierto, ya que los NIMs proporcionan un marco estandarizado y listo para producción para desplegar modelos de IA de código abierto. Al empaquetar los modelos con las licencias comerciales adecuadas y optimizarlos para hardware específico, Nvidia reduce la barrera de entrada para las organizaciones que desean utilizar IA de código abierto sin tener que gestionar una infraestructura compleja. Esto destaca una tendencia en la que los modelos abiertos ganan viabilidad empresarial gracias a la optimización comercial, haciéndolos más accesibles y eficientes para su aplicación industrial generalizada, al tiempo que mantienen su origen abierto.
Source: zdnet.comPublished on 2024-07-31
Related news
- Nvidia Powers New Hugging Face Inference Service, AI Industrial Solutions
- Zuck got so excited talking open platforms and AI with Jensen Huang that he dropped a big old F-bomb
- A new White House report embraces open-source AI
- Apple skips Nvidia's GPUs for its AI models, uses thousands of Google TPUs instead
- Beware of AI 'model collapse': How training on synthetic data pollutes the next generation