Google, Microsoft, OpenAI y Anthropic se han comprometido a respetar una misma señal en el archivo robots.txt para que una web pueda negarse a que su contenido se use para entrenar modelos de IA generativa. Hasta ahora había que bloquear el rastreador de cada empresa por separado; con esta propuesta bastará con una regla común. La idea parte de un borrador presentado en el IETF por Kevin Kelley, de Anthropic, el 30 de octubre, y ese mismo día Google, Microsoft y OpenAI anunciaron que la apoyarán. Lo cuenta The Next Web.
La noticia es buena para los editores, pero tiene tres letras pequeñas: todavía no funciona, no obliga a nadie y no incluye ningún pago.
Con una entrada nueva en robots.txt dedicada al uso, no a un rastreador concreto. En lugar del nombre de un bot, la web escribe el identificador __usage_ai-training y, debajo, las rutas que no quiere que se usen para entrenar, con las mismas reglas de siempre. El ejemplo del borrador bloquea toda la web salvo la sección de prensa:
El borrador fija varios matices importantes. Una web que no incluya esa entrada no ha expresado ninguna preferencia. Las reglas genéricas para todos los bots (User-Agent: *) no cuentan como una negativa a que se entrene con ella, de modo que nadie queda dentro o fuera por accidente. Y los acuerdos privados entre una web y una empresa de IA pueden imponerse a lo que diga el archivo.
