Illyes de Google: Robots.txt cubre el rastreo, no el entrenamiento de IA

Illyes de Google: Robots.txt cubre el rastreo, no el entrenamiento de IA

Gary Illyes aclara que robots.txt funciona estrictamente como un protocolo de preferencia de acceso, que indica qué URLs pueden solicitar los rastreadores, pero no regula cómo se utiliza esa información una vez obtenida. Esta distinción es crucial para los propietarios de sitios web que buscan controlar el entrenamiento de modelos de IA; mientras que las directivas estándar impiden que bots específicos accedan al contenido, no impiden inherentemente que los rastreadores autorizados utilicen la información recuperada para el entrenamiento de modelos. Para restringir el uso de los datos, los editores deben actualmente depender de tokens específicos de rastreadores o esperar a que los controles de uso estandarizados se adopten ampliamente. El artículo destaca la tensión entre las realidades técnicas actuales y los estándares emergentes. Aunque un nuevo borrador de la IETF propone una regla "Content-Usage" para definir explícitamente las preferencias de entrenamiento, este mecanismo aún no es un estándar web. Actualmente, controles como el token "Google-Extended" de Google operan basándose en documentación propietaria en lugar de un protocolo universal, lo que significa que su efectividad está limitada a ecosistemas específicos. Esta brecha deja a los administradores de sitios web sin un método universal y estandarizado para desacoplar los permisos de acceso de los derechos de uso de datos en toda la internet. Esta discusión es altamente relevante para los datos abiertos, ya que subraya la ambigüedad en torno a la procedencia y reutilización de datos en la era de la inteligencia artificial. Sin preferencias de uso estandarizadas, resulta difícil hacer cumplir el manejo ético de los datos o garantizar que los conjuntos de datos abiertos se utilicen de acuerdo con las intenciones originales de publicación. Además, el consejo de utilizar rutas codificadas en porcentaje para URLs no en inglés enfatiza la necesidad de prácticas técnicas robustas e interoperables para asegurar una interpretación consistente entre diversos sistemas de rastreo.

Noticias relacionadas

• La ICO publica un informe sobre el cumplimiento de la protección de datos de los modelos de base de IA generativa y solicita pruebas
• Soporte al usuario - Eurostat
• Déficit de divulgación en las leyes de RTI de los países de la SAARC
• LankaWeb – Octavo recordatorio – Solicitud de acuse de recibo de mi apelación de fecha 29 de julio de 2026 y, posteriormente, estado de mis solicitudes de acceso a la información (RTI)
• El nuevo modelo de IA de biología de Hugging Face te permite chatear con el ADN