Scality launches AI Inference Factory to bring enterprise AI on-premises

Scality launches AI Inference Factory to bring enterprise AI on-premises

La nueva Fábrica de Inferencia con IA de Scality aborda desafíos empresariales críticos en la adopción de la inteligencia artificial, permitiendo el despliegue de modelos de pesos abiertos validados en infraestructura privada. Esta solución de código abierto ofrece a las organizaciones una alternativa viable a los servicios basados en la nube, proporcionando costos predecibles y garantizando la soberanía de los datos. Al mantener los datos sensibles y las cargas de trabajo críticas de inferencia en instalaciones propias, las empresas pueden mantener un control estricto sobre los ciclos de vida de sus modelos y el cumplimiento normativo, sin depender de proveedores externos. Un avance técnico clave es la integración de la Infraestructura de Datos de IA de Scality, que extiende el almacenamiento en caché de clave-valor más allá de la limitada memoria de la GPU. Esta arquitectura separa las operaciones de prellenado (prefill) y decodificación (decode), permitiendo que las GPUs recuperen el contexto desde un almacenamiento compartido de alta velocidad en lugar de recalcularlo. Este enfoque reduce significativamente el consumo de GPUs y los costos operativos, manteniendo un alto rendimiento, lo que hace factible manejar ventanas de contexto grandes y aplicaciones complejas basadas en agentes de manera eficiente a gran escala. Este desarrollo es altamente relevante para las comunidades de datos abiertos y de código abierto, ya que aprovecha modelos de pesos abiertos validados y proporciona software completamente transparente y de código abierto. Permite a las organizaciones inspeccionar cómo se gestiona el estado de la inferencia y contribuye a un ecosistema donde el manejo de datos no está bloqueado detrás de servicios propietarios de caja negra. Al soportar varios marcos de código abierto y hardware, promueve la interoperabilidad y previene el bloqueo con un proveedor específico (vendor lock-in), empoderando a las empresas para construir infraestructuras de IA sostenibles, seguras y adaptables.

Noticias relacionadas

• CIQ’s Fuzzball 4.3 runs validated open-weight models on a customer’s own GPUs with one command
• $25 Billion Reflection AI, Backed By Nvidia (NASDAQ: NVDA), Prepares To Launch Open-Source Model That Could Reshape Enterprise AI
• Cloudflare OS – nextbigwhat
• joe-gibbs/terrainsr 路 Hugging Face
• Ben Affleck is an AI nerd, and the internet is impressed | TechCrunch