Comment Ca Marche - Communauté informatique  
   
Accueil - Encyclopédie informatiqueTélécharger l'encyclopédieContribuer à cet article

Webmastering - Référencement - Robots.txt

Robots.txt Encyclopédie


Présentation du fichier robots.txt

Le fichier robots.txt est un fichier texte contenant des commandes à destination des robots d'indexation des moteurs de recherche afin de leur préciser les pages qui peuvent ou ne peuvent pas être indexées. Ainsi tout moteur de recherche commence l'exploration d'un site web en cherchant le fichier robots.txt à la racine du site.

Format du fichier robots.txt

Le fichier robots.txt (écrit en minuscules et au pluriel) est un fichier ASCII se trouvant à la racine du site et pouvant contenir les commandes suivantes :

  • User-Agent: permet de préciser le robot concerné par les directives suivantes. La valeur * signifie "tous les moteurs de recherche".
  • Disallow: permet d'indiquer les pages à exclure de l'indexation. Chaque page ou chemin à exclure doit être sur une ligne à part et doit commencer par /. La valeur / seule signifie "toutes les pages du site".

Attention Le fichier robots.txt ne doit contenir aucune ligne vide !

Voici des exemples de fichier robots.txt :

  • Exclusion de toutes les pages :
    User-Agent: *
    Disallow: /
  • Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) :
    User-Agent: *
    Disallow: 
  • Autorisation d'un seul robot  :
    User-Agent: nomDuRobot
    Disallow :
    User-Agent: *
    Disallow: /
  • Exclusion d'un robot :
    User-Agent: NomDuRobot
    Disallow: /
    User-Agent: *
    Disallow:
  • Exclusion d'une page :
    User-Agent: *
    Disallow: /repertoire/chemin/page.html
  • Exclusion de toutes les pages d'un répertoire et ses sous-dossiers :
    User-Agent: *
    Disallow: /repertoire/

Quelques User-Agents

Voici quelques exemples de User-Agents pour les moteurs de recherche les plus populaires :

Nom du moteur User-Agent
Alta Vista Scooter
Excite ArchitextSpider
Google Googlebot
HotBot Slurp
InfoSeek InfoSeek Sidewinder
Lycos T-Rex
Voilà Echo

Pour plus d'informations

The web robots page

Trucs & astuces pertinents trouvés dans la base de connaissances

20/02 20h44 Forcer un nom de domaine avec le fichier hosts (Réseaux)
Robots.txt Plus d'astuces sur « Robots.txt »

Discussions pertinentes trouvées dans le forum

02/03 11h08 robots fichier robots.txt [robots] fichier robots.txt Internet 03/03 17h59->gdv2
24/07 17h19 winnt schedlgu.txt C:\WINNT\SchedLgU.Txt Virus/Sécurité 25/07 01h35->balltrap3420
18/05 16h36 manipulation fichier .txt manipulation fichier .txt Développement 18/05 22h59->jipicy17
18/12 01h34 svchost.exe.mdmp appcompat.txt SVCHOST.EXE.MDMP ET APPCOMPAT.TXT Windows 25/12 23h22->aranjuez3115
26/10 01h58 dxva_sig.txt dxva_sig.txt ????? Windows 09/02 15h06->fg039
06/12 12h54 flash txt externe retour aléatoire html [flash] txt externe : retour aléatoire html Développement 14/12 12h48->lolothe9
19/08 11h57 portrait robot portrait robot Logiciels/Pilotes 14/02 12h36->jaouada8
05/09 20h37 export marque page favoris format txt export marque page (favoris) en format txt Internet 07/09 09h31->sub136
10/11 12h23 comparaison 2 fichiers .txt comparaison de 2 fichiers ".txt" Windows 10/11 14h03->pvallaud6
06/05 10h12 routeur robot les routeur robot Windows 10/05 16h54->sam114
Discussion fermée Problème résolu Robots.txt Plus de discussions sur « Robots.txt »

Ce document intitulé « Webmastering - Référencement - Robots.txt » issu de l'encyclopédie informatique Comment Ça Marche (www.commentcamarche.net) est mis à disposition sous les termes de la licence Creative Commons. Vous pouvez copier, modifier des copies de cette page, dans les conditions fixées par la licence, tant que cette note apparaît clairement.