Robot d’exploration

CibleBot

CibleBot lit le site d’une entreprise quand un client de Cible commande un dossier sur elle. Il ne parcourt pas le web de lui-même.

Ce qu’il fait

• Se présente avec l’agent CibleBot/1.0 (+https://cible.chauvat.com/bot).
• Lit le fichier robots.txt avant toute page et respecte ses interdictions et son délai (crawl-delay).
• Lit au plus 60 pages du même site, à une profondeur de 2 liens depuis la page d’accueil, à raison d’une requête toutes les deux secondes au plus.
• Ne lit que les pages HTML publiques : aucune connexion, aucun formulaire soumis, aucun fichier exécuté.
• Conserve le texte des pages lues dans le dossier du client pendant 12 mois, avec l’adresse et la date de collecte.

Pour l’exclure

Ajoutez à votre robots.txt :

User-agent: CibleBot
Disallow: /

Pour toute question ou demande de suppression, écrivez à paul@chauvat.com.