LLMs On A Lightbulb's Power? Researchers Develop Low Energy AI Breakthrough
Investigadores de la Universidad de California en Santa Cruz han desarrollado un modelo de lenguaje grande (LLM) eficiente en energía que funciona sobre hardware FPGA personalizado, consumiendo solo 13 vatios. Al reemplazar la multiplicación de matrices, intensiva en energía, por sumas en base ternaria, lograron una eficiencia cincuenta veces mayor que la de los modelos tradicionales, rivalizando con los estándares principales de la industria mientras reducían drásticamente los costos de energía. Este avance es crucial para las iniciativas de datos abiertos, ya que la reducción de las barreras energéticas permite un acceso más sostenible y descentralizado a la inteligencia artificial. Demuestra que las arquitecturas de código abierto y eficientes pueden competir con los sistemas propietarios, fomentando una participación más amplia de la comunidad. Estas mejoras en la eficiencia apoyan el procesamiento de datos transparente y ecológico, sin depender de costosos clústeres de GPU de alto consumo. En última instancia, este avance destaca la viabilidad de modelos ligeros y de código abierto para el despliegue global de la IA. Desafía el dominio de las grandes tecnológicas al demostrar que los diseños optimizados y accesibles pueden ofrecer un rendimiento comparable, promoviendo un ecosistema de datos abiertos más equitativo y sostenible para desarrolladores de todo el mundo.
Source: hothardware.comPublished on 2024-06-27