SEO : Comment fonctionne un fichier robots.txt ?

Pour rappel, Robots.txt est un fichier texte contenant des instructions destinées aux robots des moteurs de recherche : il leur indique les pages qu'ils peuvent ou ne peuvent pas explorer.
Les fichiers robots.txt indiquent aux bots des moteurs de recherche les URL qu'ils peuvent explorer et, surtout, celles qu'ils ne peuvent pas explorer.

Les moteurs de recherche ont deux tâches principales :

• Explorer le Web pour découvrir du contenu
• Indexer le contenu afin qu'il puisse être présenté aux internautes qui recherchent des informations
• Au fur et à mesure de leur exploration, les robots des moteurs de recherche découvrent et suivent des liens. Ce processus les conduit du site A au site B puis au site C à travers des milliards de liens et de sites Web.

En arrivant sur un site, la première chose qu'un robot fera est de chercher un fichier robots.txt. S'il en trouve un, il le lira avant de faire quoi que ce soit d'autre. La syntaxe est très simple.

Vous attribuez des règles aux robots en indiquant leur agent utilisateur (le robot du moteur de recherche) suivi de directives (les règles).

Vous pouvez également utiliser le caractère générique astérisque (*) pour attribuer des directives à chaque agent utilisateur. Cela signifie que la règle s'applique à tous les bots, plutôt qu'à un bot spécifique.

NB : Si un fichier robots.txt fournit des instructions, il ne peut pas les imposer. C'est comme un code de conduite. Les bons robots (comme les robots des moteurs de recherche) suivront les règles, mais les mauvais robots (comme les robots de spam) les ignoreront.