JobikoCatalogBot est le robot d’exploration de Jobiko, un assistant de recherche d’emploi. Chacune de ses requêtes porte cet agent utilisateur :
JobikoCatalogBot/1.0 (+https://jobiko.org/bot)
1. Ce qu’il lit #
JobikoCatalogBot alimente le catalogue d’offres dans lequel cherchent les utilisateurs de Jobiko. Il lit :
- les flux d’offres publics que les logiciels de recrutement publient pour les sites carrières de leurs clients ;
- les données ouvertes d’offres des services publics d’emploi ;
- la page d’une offre déjà au catalogue, pour vérifier que le poste est toujours ouvert ;
- la page d’une offre qu’un utilisateur de Jobiko choisit de préparer, et l’icône du site d’un employeur, affichée à côté de ses offres.
Il ne lit que des pages publiques. Il ne se connecte jamais à un compte, et il ne remplit ni n’envoie aucun formulaire. Il ne recueille pas d’offres sur les sites d’emploi ni chez les agrégateurs.
2. robots.txt #
JobikoCatalogBot respecte le protocole d’exclusion des robots (RFC 9309). Avant de recueillir des offres sur un site, il lit le fichier robots.txt de ce site et ignore tout chemin interdit à JobikoCatalogBot ou à l’ensemble des robots (*).
Pour l’exclure de tout votre site, ajoutez :
User-agent: JobikoCatalogBot
Disallow: /
3. Rythme #
Il envoie peu de requêtes à la fois à un même site. Quand un site répond 429 ou 503, il ralentit et attend au moins le délai demandé par l’en-tête Retry-.
4. Retirer votre site de Jobiko #
Ajoutez la règle robots.txt ci-dessus, ou écrivez à support@jobiko.org avec l’objet « Retrait JobikoCatalogBot : votredomaine.com ». Indiquez les domaines ou les pages carrières visés. Nous les retirons du catalogue et vous le confirmons par courriel.
5. Contact #
Questions sur JobikoCatalogBot : support@jobiko.org.