Paving the way to efficient architectures: StripedHyena-7B, open source models offering a glimpse into a world beyond Transformers

Together Research presenta StripedHyena, una nueva arquitectura de modelo de secuencias que desafía la dominancia de los Transformers al combinar mecanismos de atención con modelos de espacio de estados eficientes. Este diseño híbrido logra un rendimiento competitivo con los principales Transformers de código abierto en tareas de contexto corto, mientras que los supera significativamente en escenarios de contexto largo. Al reemplazar las costosas operaciones de atención por convoluciones implícitas con puertas, el modelo demuestra que las arquitecturas alternativas pueden rivalizar con las líneas base establecidas sin sacrificar precisión, marcando un cambio fundamental en la forma en que se construyen los modelos de lenguaje. Las implicaciones prácticas para desarrolladores e investigadores son considerables, ya que StripedHyena ofrece una eficiencia superior tanto en el entrenamiento como en la inferencia. Permite un procesamiento más rápido de secuencias más largas y reduce el consumo de memoria durante la generación en más de la mitad en comparación con los Transformers optimizados. Estas mejoras reducen las barreras computacionales para el ajuste fino y el despliegue de modelos grandes, haciendo que las capacidades avanzadas de contexto largo sean más accesibles para la comunidad más amplia de datos abiertos. Esta eficiencia permite una experimentación e iteración más frecuentes, acelerando el desarrollo de aplicaciones especializadas de inteligencia artificial. Este lanzamiento es altamente relevante para los datos abiertos, ya que amplía el conjunto de herramientas disponible para procesar conjuntos de información diversos y complejos. Al permitir el manejo eficiente de contextos extensos, los investigadores pueden analizar mejor documentos largos, bases de código o archivos históricos que antes eran difíciles o demasiado costosos de procesar. Además, el énfasis en arquitecturas abiertas y alternativas fomenta que la comunidad se aleje de las soluciones estandarizadas basadas en Transformers, promoviendo la innovación en la forma en que extraemos información valiosa de repositorios de datos a gran escala.

Source: together.ai
Published on 2023-12-09

Number of dog bite hospital admissions increased in Hampshire in 2023 »

Datos Abiertos (Open data)

Related news