microsoft/phi-2 · Hugging Face
Phi-2 demuestra que el uso cuidadosamente curado de datos educativos sintéticos y filtrados puede mejorar significativamente los modelos de lenguaje pequeños, logrando un rendimiento cercano al estado del arte en razonamiento y comprensión, sin depender de la alineación costosa mediante retroalimentación humana. Este enfoque resalta el potencial de la calidad de los datos frente a la mera escala de parámetros, ofreciendo una vía más accesible y eficiente para avanzar en las capacidades de comprensión del lenguaje natural dentro de presupuestos computacionales limitados. Al liberar este modelo como software de código abierto, los autores buscan empoderar a la comunidad investigadora para abordar directamente desafíos críticos de seguridad. La ausencia de alineación posterior al entrenamiento permite a los investigadores estudiar y mitigar problemas como la toxicidad y los sesgos sociales desde las capas fundamentales del modelo. Esta transparencia es crucial para desarrollar métodos robustos que mejoren la controlabilidad y reduzcan las salidas dañinas en futuros sistemas de inteligencia artificial. Este lanzamiento es altamente relevante para la comunidad de datos abiertos, ya que subraya la importancia de la curación ética y de alta calidad de los datos en el entrenamiento de IA efectiva. Proporciona un ejemplo concreto de cómo conjuntos de datos diversos y filtrados pueden generar herramientas poderosas que permanezcan seguras y confiables. Al hacer accesibles tanto el modelo como sus fuentes de datos, fomenta esfuerzos colaborativos para mejorar la seguridad, equidad y rendimiento de los modelos mediante prácticas de datos abiertos.
Source: huggingface.coPublished on 2023-12-14