Ajoutez votre carte à votre fichier Robots.txt
4.9 (98%) 32 votes
 

Ajoutez votre carte à votre fichier Robots.txt

Cet article de blog a été mis à jour le 11 mai 2020

Si vous êtes un webmaster ou un développeur Web, vous souhaiterez que votre site apparaisse dans les résultats de recherche. Et pour être affiché dans les résultats de recherche, vous avez besoin de votre site Web et de ses nombreuses pages Web explorées et indexées par des robots des moteurs de recherche (robots).

Il existe deux fichiers distincts du côté technique de votre site Web qui aident ces robots à trouver ce dont ils ont besoin: Robots.txt et cartographie de site Web XML.

Robots.txt

Un fichier Robots.txt est un simple fichier texte intégré dans votre répertoire racine Web. Ce fichier utilise un ensemble d’instructions pour indiquer aux robots des moteurs de recherche quelles pages de votre site Web peuvent et ne peuvent pas explorer.

fichier robots.txt

Le fichier robots.txt peut également être utilisé pour empêcher des robots spécifiques d’accéder au site. Par exemple, si le Web est en développement, il peut être judicieux d’empêcher les robots d’y accéder jusqu’à ce qu’ils soient prêts à être lancés.

Le fichier robots.txt est généralement le premier endroit à explorer lors de l’accès au Web. Même si vous souhaitez que tous les robots aient accès à toutes les pages de votre site Web, il est toujours recommandé d’ajouter un fichier robots.txt qui le permet.

Les fichiers Robots.txt doivent également inclure l’emplacement d’un autre fichier très important: XML Map. Cela fournit une description de chaque page de votre site Web que vous souhaitez que les moteurs de recherche découvrent.

Dans cet article, nous vous montrerons comment et où vous devez vous référer à la carte XML dans le fichier robots.txt. Mais avant cela, regardons ce qu’est une carte et pourquoi elle est importante.

Cartes XML

XML Map est un fichier XML qui répertorie toutes les pages du Web que vous souhaitez que les robots découvrent et accèdent.

Fichier de mappage XML

Par exemple, vous pouvez souhaiter que les moteurs de recherche trouvent tous vos articles de blog, afin qu’ils puissent apparaître dans les résultats de recherche. Cependant, vous ne voudrez peut-être pas qu’ils accèdent à vos pages de balises, car elles peuvent ne pas faire de bonnes pages de destination et ne doivent donc pas être incluses dans les résultats de recherche.

Les plans de site XML peuvent également contenir des informations supplémentaires sur chaque URL, via des métadonnées. Et comme le fichier robots.txt, le plan du site XML doit l’avoir. Non seulement il est important de s’assurer que les robots des moteurs de recherche peuvent découvrir toutes vos pages, mais cela les aide également à comprendre l’importance de vos pages.

Révision de la carte du plan de site XML

Vous pouvez vérifier que votre plan de site est correctement installé en exécutant WooRank Free Inspection.

Examen gratuit de WooRank

En 2006, Yahoo, Microsoft et Google se sont associés pour prendre en charge un protocole standard de soumission de pages Web via des cartes XML. Vous deviez soumettre vos cartes XML via Google Search Dashboard, les outils de webmaster Bing et Yahoo, tandis que d’autres moteurs de recherche comme DuckDuckGoGo utilisent les résultats de Bing / Yahoo.

Environ six mois plus tard, en avril 2007, ils se sont abonnés au logiciel de visualisation de cartes XML via le fichier robots.txt, connu sous le nom de Cartes de fabrication automobile.

Cela signifiait que même si vous ne soumettiez pas de plan de site aux moteurs de recherche personnels, tout allait bien. Ils trouveraient d’abord l’emplacement de la carte à partir de votre fichier de site robots.txt.

(REMARQUE: la soumission de cartes est toujours disponible via la plupart des moteurs de recherche, mais n’oubliez pas que Google & Bing n’est pas le seul moteur de recherche!)

Et ainsi, le fichier robots.txt est devenu encore plus important pour les webmasters car ils pouvaient créer de simples robots de moteur de recherche robotisés pour découvrir toutes les pages de leur site Web.

Comment ajouter votre carte XML à votre fichier Robots.txt

Voici trois étapes simples pour ajouter l’emplacement de votre carte XML à votre fichier robots.txt:

Étape 1: recherchez l’URL de votre carte

Si votre site Web est configuré par un développeur tiers, vous devez d’abord vérifier s’il a fourni à votre site une carte XML.

Par défaut, l’URL de votre plan de site sera /sitemap.xml. Par exemple, la carte xml de https://befound.pt est

https://befound.pt/sitemap.xml

Tapez donc cette URL dans votre navigateur et votre domaine au lieu de «beound.pt».

Certains sites Web disposent de plusieurs cartes XML, ce qui nécessite des cartes de mappage (appelées index de plan de site). Par exemple, si vous utilisez un plugin Yoast SEO et WordPress, l’index de la carte sera automatiquement ajouté à /sitemap_index.xml.

https://befound.pt/sitemap_index.xml

Vous pouvez également trouver un lieu sur votre carte grâce à la recherche Google à l’aide des opérateurs de recherche, comme indiqué dans les exemples ci-dessous:

site:befound.pt filetype:xml

OR

filetype:xml site:befound.pt inurl:sitemap

Mais cela ne fonctionnera que si votre site est déjà exploré et répertorié par Google.

Si vous pouvez accéder à votre gestionnaire de fichiers Web, vous pouvez rechercher votre fichier de mappage xml.

Si vous ne trouvez pas de carte sur votre site, vous pouvez créer la vôtre. Il existe de nombreux outils pour vous aider, y compris le générateur de carte XML Sitemap qui est gratuit pour 500 pages, mais vous devrez supprimer manuellement les pages que vous ne souhaitez pas inclure. Vous pouvez également suivre le protocole décrit sur Sitemaps.org.

Étape # 2: Trouvez votre fichier Robots.txt

Vous pouvez vérifier si votre site Web a un fichier robots.txt en tapant /robots.txt après votre domaine) par exemple, https://befound.pt/robots.txt.

Si vous n’avez pas de fichier robots.txt, vous devrez en créer un et l’ajouter au répertoire racine de votre serveur Web. Pour ce faire, vous devrez accéder à votre serveur Web. Normalement, il est installé au même emplacement que le « index.html » principal de votre site Web. L’emplacement de ces fichiers dépend du type de logiciel de serveur Web dont vous disposez. Vous devriez envisager de faire appel à un développeur Web si vous n’êtes pas familier avec ces fichiers.

emplacement du fichier robots.txt dans le système de fichiers

N’oubliez pas d’utiliser tous les sous-cas dans le nom du fichier contenant le contenu du fichier robots.txt. N’utilisez pas Robots.TXT ou Robots.Txt comme nom de fichier.

Étape n ° 3: Ajouter l’emplacement de la carte au fichier Robots.txt

Maintenant, ouvrez le fichier robots.txt à la racine de votre site. Encore une fois, vous devez accéder à votre serveur Web pour ce faire. Alors, demandez à votre développeur Web ou à votre hébergeur des instructions si vous ne savez pas comment trouver et modifier le fichier robots.txt de votre site Web.

Pour activer la détection automatique de votre fichier de carte via votre fichier robots.txt, il vous suffit de placer les instructions et les URL dans votre fichier robots.txt, comme illustré dans l’exemple ci-dessous:

Sitemap: http://befound.pt/sitemap.xml

Ainsi, le fichier robots.txt ressemble à ceci:

Sitemap: http://befound.pt/sitemap.xml
User-agent:*
Disallow:

REMARQUE: les instructions avec l’emplacement de la carte peuvent être placées n’importe où dans le fichier robots.txt. C’est gratuit pour l’interface utilisateur-agent, donc peu importe où il est installé.

Vous pouvez le voir apparaître en action sur le Web directement en visitant votre site Web préféré, en ajoutant /robots.txt à la fin du champ. Par exemple, https://befound.pt/robots.txt.

Fichier robots.txt direct

Je! Si vous avez trop de cartes?

Selon les directives de cartographie de Google & Bing, les plans de site XML ne doivent pas avoir plus de 50 000 URL et ne doivent pas dépasser 50 Mo lorsqu’ils ne sont pas sous pression. Donc, s’il existe un grand site Web avec de nombreuses URL, vous pouvez créer plusieurs fichiers de carte.

Vous devez répertorier toutes les zones du fichier de plan de site dans le fichier d’index de carte. Le format XML du fichier d’index de carte est le même que celui du fichier de carte, ce qui en fait une carte de carte.

Lorsque vous disposez de plusieurs plans de site, vous pouvez spécifier l’URL du fichier d’index de carte dans votre fichier robots.txt, comme illustré dans l’exemple ci-dessous:

Sitemap: http://befound.pt/sitemap_index.xml

Ou, vous pouvez spécifier des URL personnelles pour chacun de vos fichiers de carte, comme indiqué dans l’exemple ci-dessous:

Sitemap: http://befound.pt/sitemap_pages.xml
Sitemap: http://befound.pt/sitemap_posts.xml

Nous espérons que vous savez maintenant comment créer un fichier robots.txt et un emplacement sur la carte. Faites-le, cela aidera votre site!

Je! Avez-vous déjà trouvé votre carte dans votre fichier robots.txt?

Ajoutez votre carte à votre fichier Robots.txt
4.9 (98%) 32 votes