New Open Source LLM With Zero Guardrails Rivals Google's Palm 2

New Open Source LLM With Zero Guardrails Rivals Google's Palm 2

Hugging Face ha lanzado Falcon 180B, un modelo de lenguaje masivo de código abierto que rivaliza en rendimiento con gigantes propietarios como PaLM 2 de Google. Este logro demuestra que la inteligencia artificial de acceso público puede ahora igualar las capacidades de vanguardia de las alternativas de código cerrado, desafiando la noción de que el rendimiento de primer nivel requiere recursos corporativos exclusivos. Al superar a modelos abiertos anteriores y competir con versiones iniciales de GPT-4, Falcon 180B representa un cambio significativo hacia la democratización del desarrollo de IA de alto rendimiento. Un factor clave de este éxito es el uso de un conjunto de datos de entrenamiento estrictamente filtrado, basado únicamente en la web. Al eliminar agresivamente el spam, los duplicados y el contenido de baja calidad de los datos de rastreo web comunes, los investigadores demostraron que una limpieza rigurosa de fuentes públicas de internet puede producir materiales de entrenamiento competitivos con corpora curados, a menudo protegidos por derechos de autor. Esto valida la viabilidad de confiar en ecosistemas de datos transparentes y abiertos en lugar de conjuntos de datos propietarios y ocultos, ofreciendo un camino más sostenible y jurídicamente claro para entrenar modelos grandes. Crucialmente, Falcon 180B carece de salvaguardas de seguridad y de ajuste por alineación, lo que significa que puede generar contenido dañino o errores factuales. Si bien esta limitación plantea preocupaciones sobre la seguridad, también destaca una ventaja distintiva para los datos abiertos: la capacidad de construir aplicaciones personalizadas sin los restrictivos filtros de contenido impuestos por entidades comerciales. Esta transparencia permite a los desarrolladores adaptar el modelo a necesidades específicas, subrayando el valor de los pesos abiertos para fomentar la innovación y evitar la naturaleza de "caja negra" de los sistemas de IA cerrados.

Fuente: searchenginejournal.com
Publicado el 2023-09-14