Los propietarios de páginas web podrían disponer próximamente de una forma más sencilla de indicar si permiten que sus contenidos se utilicen para entrenar sistemas de inteligencia artificial.
Google, OpenAI y Microsoft, junto con otras empresas del sector, han anunciado su apoyo a una propuesta para incorporar una señal común en el archivo robots.txt, utilizado tradicionalmente para comunicar instrucciones a los rastreadores de Internet.
El objetivo es que los administradores de sitios web no tengan que configurar instrucciones diferentes para cada proveedor de inteligencia artificial.
¿Qué cambiará en robots.txt?
Actualmente, las empresas de inteligencia artificial utilizan distintos rastreadores y mecanismos para que los propietarios de webs expresen sus preferencias.
Por ejemplo, OpenAI dispone de controles específicos para sus rastreadores, mientras que Google ofrece Google-Extended para gestionar determinados usos de los contenidos relacionados con sus sistemas de inteligencia artificial.
La nueva propuesta plantea utilizar una señal compartida, reconocida por las empresas participantes, que permita expresar una preferencia general sobre el uso de los contenidos para entrenar modelos de IA.
De esta forma, una web podría comunicar su decisión a varios proveedores mediante una configuración común, manteniendo la posibilidad de establecer excepciones individuales.
¿Significa que las inteligencias artificiales dejarán de rastrear las webs?
No necesariamente. Es importante distinguir entre el rastreo de una página web, su aparición en los buscadores y el uso de su contenido para entrenar modelos de inteligencia artificial.
La propuesta se centra específicamente en expresar preferencias sobre el entrenamiento de modelos generativos.
Por tanto, no implica que una página desaparezca automáticamente de Google o Bing, ni que se bloqueen todos los sistemas de inteligencia artificial que puedan consultar información publicada en Internet.
Además, como sucede con otras instrucciones de robots.txt, su eficacia dependerá de que los proveedores respeten las preferencias expresadas por los propietarios.
¿Cuándo estará disponible?
El sistema todavía se encuentra en desarrollo y forma parte de los trabajos del grupo AI Preferences de la Internet Engineering Task Force (IETF), organismo que participa en la elaboración de estándares de Internet.
Google ha anunciado que pretende incorporar este control durante 2027, mientras que OpenAI espera implementarlo en los próximos meses.
Las empresas seguirán manteniendo sus mecanismos actuales durante la transición.
Por ahora, no se trata de una funcionalidad que todos los administradores puedan configurar y esperar que sea respetada inmediatamente por todos los proveedores.
¿Por qué es importante para las páginas web?
La utilización de contenidos publicados en Internet para entrenar sistemas de inteligencia artificial ha generado un debate sobre los derechos de los creadores, el tráfico que reciben las webs y el control sobre la información que publican.
Para periódicos digitales, blogs, portales especializados y otras páginas que generan contenido original, disponer de un mecanismo común podría simplificar la gestión de estas preferencias.
También puede resultar especialmente útil para pequeños administradores que no disponen de recursos para mantener configuraciones diferentes para cada empresa.
¿Qué deben hacer ahora los administradores?
De momento, no es necesario modificar el archivo robots.txt para incorporar esta nueva señal, ya que su implementación todavía está pendiente.
Quienes deseen gestionar actualmente el acceso de determinados rastreadores pueden seguir utilizando los controles específicos publicados por cada proveedor.
Conviene estar atentos a la evolución de la propuesta y comprobar su compatibilidad con los buscadores antes de aplicar restricciones generales.
Un paso hacia un mayor control de los contenidos
La iniciativa representa un intento de establecer reglas compartidas entre algunas de las principales empresas de inteligencia artificial.
Aunque todavía quedan cuestiones por resolver, podría facilitar que los propietarios de páginas web expresen sus preferencias de manera más clara y uniforme, sin necesidad de mantener numerosas configuraciones independientes.
Deja tu comentario
Comentarios
Aún no hay comentarios publicados.