La conocida red social Reddit ha comunicado recientemente que implementará una actualización en su estándar web para detener el scraping automatizado de datos en su sitio, después de recibir reportes de que startups de inteligencia artificial estaban esquivando esta normativa para recolectar contenido para sus sistemas.
Este ajuste se da en un contexto donde las empresas de IA han sido acusadas de apropiarse del contenido de los editores para generar resúmenes con IA sin otorgar créditos ni solicitar autorización.
Reddit explicó que mejorará el Protocolo de Exclusión de Robots, conocido como «robots.txt», un estándar ampliamente reconocido que define qué partes de un sitio pueden ser rastreadas. Además, la compañía mantendrá el uso de la limitación de tasa, una técnica que controla la cantidad de solicitudes de una entidad específica, y bloqueará bots y rastreadores no autorizados para prevenir la extracción masiva de datos de su plataforma.
Recientemente, el robots.txt ha sido crucial para que los editores protejan su contenido de ser utilizado gratuitamente por empresas tecnológicas para entrenar algoritmos de IA y generar resúmenes en respuesta a ciertas consultas de búsqueda.
La semana pasada, una carta enviada a los editores por la startup de licencias de contenido TollBit alertó que varias empresas de IA estaban eludiendo este estándar web para extraer datos de los sitios de los editores. Esto se suma a una investigación de Wired, que reveló que la startup de búsqueda de IA Perplexity probablemente evadió los bloqueos implementados mediante el robots.txt.
Reddit aseguró que investigadores y organizaciones como el Internet Archive seguirán teniendo acceso a su contenido para usos no comerciales.