GitHub - LAION-AI/Open-Assistant: OpenAssistant is a chat-based assistant that understands tasks, can interact with third-party systems, and retrieve information dynamically to do so.
OpenAssistant ha concluido oficialmente su fase de recopilación de datos, marcando la finalización de una iniciativa importante de código abierto destinada a democratizar el acceso a modelos de lenguaje grandes (LLM) de alta calidad basados en chat. El conjunto de datos final del proyecto ya está disponible públicamente en HuggingFace, lo que garantiza que la comunidad conserve el acceso a los recursos necesarios para continuar con la innovación y el desarrollo. Este cierre marca el fin de la era activa de crowdsourcing, trasladando el enfoque de la generación de datos a la utilización de datos abiertos establecidos para futuras investigaciones y construcción de aplicaciones. La iniciativa se basó en la creencia de que el acceso abierto a la tecnología del lenguaje puede impulsar una revolución en la comunicación y la creatividad humana, de manera análoga al impacto de las herramientas de generación de imágenes de código abierto. Al priorizar la transparencia y la participación comunitaria, el proyecto buscó crear un asistente que no solo fuera capaz de realizar tareas sofisticadas, sino también lo suficientemente eficiente como para ejecutarse en hardware de consumo. Este énfasis en la accesibilidad asegura que las potentes capacidades de IA no queden restringidas tras muros propietarios, reduciendo así las barreras de entrada para desarrolladores individuales y organizaciones más pequeñas. Esta finalización es altamente relevante para el ámbito de los datos abiertos, ya que proporciona un conjunto de datos limpio y rigurosamente curado para el ajuste por instrucciones (instruction-tuning) y el aprendizaje por refuerzo a partir de comentarios humanos (RLHF). El conjunto de datos oasst2 representa un esfuerzo colectivo por priorizar la calidad y la seguridad, filtrando contenido tóxico o spam durante el proceso de clasificación realizado por la comunidad. Para la comunidad más amplia de datos abiertos, esta publicación ofrece un valioso punto de referencia y recurso fundamental, demostrando cómo la recopilación colaborativa y ética de datos puede producir modelos robustos que sirvan al bien público, manteniendo altos estándares de integridad y utilidad.
Fuente: github.comPublicado el 2023-02-05