QueBailoBot
Es el robot de Qué Bailo. Lee páginas públicas de estudios, centros culturales y gimnasios para armar la grilla de clases de danza.
Cómo se identifica
QueBailoBot/0.1 (+https://quebailo.com/bot)
Cómo bloquearlo
En todo tu sitio:
User-agent: QueBailoBot Disallow: /
- Lee tu robots.txt antes de pedir cualquier página, según el estándar RFC 9309, y respeta
Crawl-delayhasta 120 segundos. - Si tu robots.txt no existe (error 4xx), lee. Si no puede saber qué dice (error 5xx, 429 o de red), no lee.
- Si una página redirige a otro sitio, vuelve a consultar su robots.txt.
Cuánto pide
- Un pedido a la vez por sitio, con al menos 5 segundos entre pedidos.
- Hasta 4 páginas por fuente, con 20 segundos de espera máxima.
- Descarta páginas de más de 2 MB (PDF, hasta 10 MB).
- Usa ETag y Last-Modified para no volver a bajar lo que no cambió.
Qué no hace
- No abre páginas de Instagram, Facebook, Threads, TikTok ni WhatsApp. Los perfiles públicos de Instagram los leen Bright Data y Apify por encargo nuestro, sin iniciar sesión; de esos perfiles bajamos imágenes para leer horarios.
- No inicia sesión en ninguna cuenta.
- No lee los sitios ni las cuentas que pidieron la baja.
Qué guarda
- Una copia de texto de cada página y las imágenes de horarios de ese sitio, para poder comprobar cada dato. Un modelo de Anthropic saca de ahí el día, la hora, el estilo y el nivel.
- Cada clase sale con su fuente y la fecha en que se leyó.
- Si pedís la baja de tu sitio, dejamos de leerlo y borramos sus copias en 5 días hábiles como máximo; en los respaldos pueden seguir.