OpenAI ha anunciado que incorporará un nuevo sistema para facilitar que los propietarios de páginas web puedan controlar cómo se utilizan sus contenidos en el entrenamiento de modelos de inteligencia artificial generativa. La iniciativa permitirá expresar una misma preferencia a diferentes proveedores tecnológicos mediante una señal compartida integrada en el archivo robots.txt.
El anuncio, responde a la creciente necesidad de establecer mecanismos que permitan a editores, medios de comunicación y administradores de sitios web gestionar el uso de la información publicada en internet por parte de los sistemas de inteligencia artificial.
Según ha explicado OpenAI, el objetivo es simplificar los procedimientos actuales, que obligan a los responsables de las páginas web a identificar individualmente los rastreadores utilizados por cada compañía y configurar instrucciones específicas para ellos.
Con la nueva propuesta, una única señal podrá comunicar las preferencias de uso de contenidos a varios proveedores de IA que decidan respetarla, reduciendo la complejidad de la gestión técnica.
Una nueva función en robots.txt para gestionar los contenidos
El sistema se incorporará a robots.txt, un archivo utilizado habitualmente por los administradores de páginas web para comunicar instrucciones a los rastreadores automatizados.
En el ámbito del posicionamiento SEO, este archivo permite establecer reglas sobre el acceso de determinados robots a secciones de un sitio web.
La propuesta anunciada por OpenAI amplía sus posibilidades al incorporar una señal relacionada específicamente con el uso del contenido para entrenar modelos fundacionales de inteligencia artificial generativa.
De esta manera, los propietarios de las páginas podrán expresar sus preferencias sin tener que mantener múltiples configuraciones independientes para cada proveedor participante.
No obstante, la nueva señal no equivale necesariamente a bloquear el acceso de los rastreadores a una página web. Su finalidad es comunicar una preferencia sobre el uso de los contenidos para entrenamiento, una cuestión distinta de la indexación y la navegación automatizada.
OpenAI ha aclarado que esta iniciativa no sustituirá sus mecanismos actuales de control de rastreadores, que seguirán funcionando y siendo respetados.
La medida se desarrollará durante los próximos meses
La compañía ha confirmado que prevé implementar el nuevo sistema durante los próximos meses, aunque todavía no ha anunciado una fecha concreta para su entrada en funcionamiento.
También ha indicado que publicará información adicional sobre los detalles técnicos cuando avance su desarrollo.
La iniciativa se basa en los trabajos del grupo AI Preferences del Internet Engineering Task Force (IETF), organismo internacional que participa en el desarrollo de estándares técnicos para el funcionamiento de internet.
OpenAI se ha sumado a otros participantes en esta propuesta voluntaria y ha animado a más proveedores de inteligencia artificial a adoptar mecanismos compatibles.
Sin embargo, su efectividad dependerá de que las compañías incorporen la señal a sus sistemas y respeten las preferencias expresadas por los propietarios de los sitios web.
Implicaciones para el SEO y los medios digitales
La propuesta podría tener especial relevancia para los medios de comunicación, empresas y creadores de contenido que publican información original en internet.
La expansión de los modelos de inteligencia artificial ha abierto un debate sobre la recopilación de contenidos digitales y su utilización para desarrollar tecnologías capaces de generar textos, imágenes y respuestas automatizadas.
En este contexto, los responsables de SEO y administración web deberán prestar atención a los nuevos mecanismos de control del contenido, especialmente a la diferencia entre permitir el acceso a una página y autorizar su utilización para el entrenamiento de sistemas de IA.
También será importante distinguir esta configuración de las estrategias orientadas al posicionamiento en buscadores y a la visibilidad de contenidos en asistentes de inteligencia artificial.
La nueva señal no garantiza por sí misma una mayor presencia en las respuestas generadas por IA ni modifica automáticamente la indexación de los sitios web.
Para los editores digitales, su principal aportación será disponer de una forma más sencilla de comunicar sus preferencias sobre el aprovechamiento de sus contenidos por parte de los proveedores participantes.
Con este anuncio, OpenAI avanza hacia un sistema de reglas compartidas para el uso de contenidos web en el entrenamiento de inteligencia artificial, aunque su aplicación práctica todavía dependerá del desarrollo técnico y de la adopción por parte de la industria.
