JobikoCatalogBot es el rastreador web de Jobiko, un asistente de búsqueda de empleo. Cada solicitud que hace lleva este agente de usuario:
JobikoCatalogBot/1.0 (+https://jobiko.org/bot)
1. Qué lee #
JobikoCatalogBot construye el catálogo de ofertas en el que buscan los usuarios de Jobiko. Lee:
- los feeds públicos de ofertas que los sistemas de reclutamiento publican para las páginas de empleo de sus clientes;
- los datos abiertos de ofertas de los servicios públicos de empleo;
- la página de una oferta que ya está en el catálogo, para comprobar que el puesto sigue abierto;
- la página de una oferta que un usuario de Jobiko elige preparar, y el ícono del sitio de un empleador, que se muestra junto a sus ofertas.
Solo lee páginas públicas. Nunca inicia sesión en una cuenta y nunca llena ni envía un formulario. No recopila ofertas de bolsas de trabajo ni de agregadores.
2. robots.txt #
JobikoCatalogBot sigue el protocolo de exclusión de robots (RFC 9309). Antes de recopilar ofertas de un sitio, lee el robots.txt de ese sitio y omite toda ruta prohibida para JobikoCatalogBot o para todos los rastreadores (*).
Para excluirlo de todo tu sitio, agrega:
User-agent: JobikoCatalogBot
Disallow: /
3. Ritmo #
Envía pocas solicitudes a la vez a un mismo sitio. Cuando un sitio responde 429 o 503, baja el ritmo y espera al menos lo que pide el encabezado Retry-.
4. Cómo quitar tu sitio de Jobiko #
Agrega la regla de robots.txt de arriba, o escribe a support@jobiko.org con el asunto «Exclusión de JobikoCatalogBot: tudominio.com». Indica los dominios o las páginas de empleo que quieres excluir. Los quitamos del catálogo y te lo confirmamos por correo.
5. Contacto #
Preguntas sobre JobikoCatalogBot: support@jobiko.org.