AwailleBot

AwailleBot est le robot d'indexation d'Awaille, un moteur de recherche pour le petit web québécois : sites personnels, blogues, petits commerces et organismes.

Identification

Le robot s'identifie avec le user-agent suivant :

AwailleBot/1.0 (+https://awaille.ca/bot)

Comportement

  • Respecte les directives robots.txt
  • Respecte un délai entre les requêtes vers un même domaine
  • Indexe uniquement le contenu francophone
  • Crawler communautaire : des contributeurs bénévoles participent à l'indexation

Faire indexer votre site

Créez un compte gratuit, puis proposez votre site sur la page soumettre un site. Chaque proposition est révisée à la main.

Retirer votre site

Pour qu'AwailleBot ne visite plus votre site, ajoutez ceci à votre fichier robots.txt :

User-agent: AwailleBot
Disallow: /

Vous pouvez aussi bloquer des sections précises :

User-agent: AwailleBot
Disallow: /admin/
Disallow: /prive/

Pour retirer tout de suite des pages déjà indexées, écrivez-nous depuis la page à propos.

Contact

Pour toute question concernant AwailleBot, écrivez-nous depuis la page à propos.