AwailleBot
AwailleBot est le robot d'indexation d'Awaille, un moteur de recherche pour le petit web québécois : sites personnels, blogues, petits commerces et organismes.
Identification
Le robot s'identifie avec le user-agent suivant :
AwailleBot/1.0 (+https://awaille.ca/bot)
Comportement
- Respecte les directives
robots.txt - Respecte un délai entre les requêtes vers un même domaine
- Indexe uniquement le contenu francophone
- Crawler communautaire : des contributeurs bénévoles participent à l'indexation
Faire indexer votre site
Créez un compte gratuit, puis proposez votre site sur la page soumettre un site. Chaque proposition est révisée à la main.
Retirer votre site
Pour qu'AwailleBot ne visite plus votre site, ajoutez ceci à votre fichier
robots.txt :
User-agent: AwailleBot Disallow: /
Vous pouvez aussi bloquer des sections précises :
User-agent: AwailleBot Disallow: /admin/ Disallow: /prive/
Pour retirer tout de suite des pages déjà indexées, écrivez-nous depuis la page à propos.
Contact
Pour toute question concernant AwailleBot, écrivez-nous depuis la page à propos.