Robots.txt est un fichier qui indique aux robots d'exploration du Web ce qu'ils doivent faire lorsqu'ils visitent un site. Les sites utilisent cette norme, également connue sous le nom de protocole d'exclusion des robots (ROP), pour indiquer aux robots quelles parties de leur site Web doivent être indexables. En outre, vous pouvez désigner les parties de votre site qui ne doivent pas être explorées par ces robots, par exemple celles qui ont déjà été explorées ou qui sont en cours de développement. Les détecteurs de logiciels malveillants et les collecteurs d'e-mails, par exemple, n'adhèrent pas à cette norme et recherchent plutôt les failles de votre sécurité, ce qui augmente la probabilité que votre site soit indexé à partir d'endroits que vous ne souhaitez pas.
Il existe une commande "User-agent" dans le fichier Robots.txt, qui peut être suivie de directives supplémentaires telles que "Allow" ou "Disallow", "Crawl-Delay", etc. Le processus manuel peut prendre beaucoup de temps, et de nombreuses lignes d'instructions peuvent être saisies dans un seul fichier. "Disallow : le lien que vous ne voulez pas que les robots visitent" et "Allow : le lien que vous voulez que les robots visitent" sont les seules options pour exclure une page. Il y a beaucoup de choses à surveiller dans le fichier robots.txt, et si vous croyez que c'est tout ce qu'il y a à faire, vous avez tort. Laissez notre générateur Robots.txt s'occuper du fichier pour vous au lieu de le faire vous-même.
Savez-vous qu'un petit fichier sur votre ordinateur peut améliorer le classement de votre site Web dans les moteurs de recherche ?
Pour les robots des moteurs de recherche, le robots.txt est le premier fichier à vérifier, et s'il est absent de votre site, il est peu probable que les robots indexent toutes vos pages. Assurez-vous que la page principale n'est pas incluse dans la directive d'interdiction lorsque vous ajoutez des pages supplémentaires en utilisant les petites instructions de ce petit fichier. Les budgets de crawl sont utilisés par Google, et la limite de crawl détermine la taille de ce budget. Google crawlera votre site plus lentement s'il découvre que le crawl de votre site perturbe l'expérience utilisateur. La durée d'exploration est le temps maximal que les robots d'exploration passent sur une page. Par conséquent, le contenu le plus récent de votre site peut ne pas être indexé avant d'avoir été exploré plusieurs fois par les robots de Google. Les fichiers Sitemap et robots.txt sont nécessaires pour supprimer cette limitation. Grâce à ces fichiers, les robots de votre site pourront se mettre au travail plus rapidement.
Les robots peuvent indexer les sites Web qui ne disposent pas d'un fichier robots.txt approprié. Il n'est donc pas nécessaire d'en avoir un pour les blogs comportant peu de pages ou pour les sites Web comportant un grand nombre de messages.
Les directives dans les fichiers Robots.txt ont un but précis :
Faites attention aux principes qui suivent si vous montez le fichier manuellement. Une fois que vous avez compris leur fonctionnement, vous pouvez même apporter des modifications au fichier.
Crawl-delay Lorsqu'un serveur reçoit un nombre excessif de demandes, il peut être surchargé, ce qui entraîne une mauvaise expérience pour l'utilisateur. Les directives Crawl-delay sont traitées différemment par les robots des moteurs de recherche, tels que Bing, Google et Yandex. En ce qui concerne Yandex, Bing et Google, vous pouvez gérer le nombre de fois que les robots visitent votre site en utilisant les consoles de recherche.
Allow L'URL suivante peut être incluse dans les résultats de recherche grâce à la directive Allowing. Votre liste d'URL peut devenir assez longue, notamment s'il s'agit d'un site d'achat, auquel cas vous pouvez ajouter autant d'URL que vous le souhaitez. Utilisez le fichier robots si votre site contient des pages qui ne doivent pas être indexées.
Disallow Les robots sont empêchés d'accéder aux URL, dossiers, etc. spécifiés par la fonction principale d'un fichier Robots. Malgré cela, d'autres robots peuvent accéder à ces répertoires puisqu'ils ne respectent pas la norme.
Tous les sites web ont besoin d'un plan de site car il fournit aux moteurs de recherche des informations essentielles. Un sitemap informe les moteurs de recherche de la fréquence de mise à jour de votre site web et du type de contenu qu'il contient. Pour les moteurs de recherche, le principal objectif du fichier robots.txt est de les informer de toutes les pages de votre site qui doivent être explorées. Les robots peuvent l'utiliser pour déterminer si les pages peuvent être visitées en toute sécurité. Pour que votre site soit indexé, vous avez besoin d'un plan du site, mais vous n'avez pas besoin d'un fichier robots.txt (si votre site ne comporte pas de pages qui ne doivent pas être indexées).
Avec l'aide de notre générateur de fichiers robots.txt de Google, comment en créer un ?
Les fichiers robots txt sont simples à créer, mais pour ceux qui ne sont pas familiers avec le processus, les étapes suivantes sont nécessaires.
Lorsque vous arrivez à la page Nouveau générateur de robots txt, un certain nombre de choix vous sont proposés. Toutes ces options ne sont pas obligatoires, mais vous devez choisir judicieusement. Si vous souhaitez maintenir un délai d'exploration de la première ligne, vous pouvez définir les paramètres par défaut pour tous les robots. Au lieu d'apporter les modifications suggérées dans l'image ci-dessous, laissez les choses telles quelles.
Dans la deuxième colonne, vous verrez des informations sur votre sitemap. Veillez à inclure ces informations dans votre fichier robots.txt.
Ensuite, vous pouvez décider d'autoriser ou non les robots des moteurs de recherche à explorer votre site, et le deuxième bloc vous permet de décider d'indexer ou non vos photos. La version mobile du site est affichée dans la troisième colonne à gauche de l'écran.
La dernière option consiste à bloquer certaines parties de la page pour qu'elles ne soient pas indexées par les crawlers. Avant de saisir l'URL du répertoire ou de la page, veillez à inclure la barre oblique.