Fichier Robots.txt dans Shopify : comment le créer et le modifier

Dans le monde du e-commerce, optimiser le crawl d’un site internet est primordial pour assurer sa visibilité dans les moteurs de recherche. Shopify, en tant que l'une des plateformes de commerce électronique les plus populaires, offre aux propriétaires de boutiques en ligne la possibilité d'optimiser l'exploration de leur site Web grâce à la configuration correcte du fichier robots.txt. C'est pourquoi nous expliquerons ci-dessous en détail comment créer et modifier le fichier robots.txt dans Shopify.

A quoi servent les fichiers Robots.txt ?

Les fichiers Robots.txt sont utilisés pour donner des instructions spécifiques aux moteurs de recherche sur la façon d'explorer et d'accéder à un site Web. Ci-dessous, nous énumérons certaines de ses fonctions les plus importantes. Lisez tout attentivement !

• Contrôlez l’accès aux fichiers image. L'une des principales fonctions du fichier robots.txt est d'empêcher les moteurs de recherche d'indexer et d'afficher les fichiers image de votre page dans les résultats de recherche.

En restreignant l'accès à ces images, vous obligez les utilisateurs à visiter votre page pour les visualiser, ce qui peut générer plus de trafic et de conversions potentielles pour votre entreprise . Cependant, il est important de noter que le fichier robots.txt n'empêche pas d'autres sites Web de copier et de partager vos liens d'images .

• Contrôler l'accès aux pages Web. Il vous permet de bloquer l'accès des moteurs de recherche aux pages que vous considérez comme n'ajoutant pas de valeur à votre stratégie.

En empêchant les moteurs de recherche d'explorer et d'afficher ces pages, vous pouvez économiser des ressources sur votre serveur et améliorer l'expérience utilisateur en générant du trafic vers les pages les plus importantes . Vous devez garder à l’esprit que les utilisateurs pourront toujours accéder à ces pages s’ils disposent d’un lien direct vers celles-ci.

• Bloquez l'accès aux fichiers de ressources. Le fichier robots.txt peut également être utilisé pour bloquer l'accès à d'autres fichiers, tels que des scripts et des fichiers de style, qui ne sont pas essentiels au fonctionnement de votre page. Il permet de réduire la charge sur vos serveurs et d'améliorer la vitesse de chargement de votre site.

Il est important d'utiliser cette fonctionnalité avec prudence , car elle peut bloquer des fichiers , ce qui rend difficile le fonctionnement des moteurs de recherche et affecte négativement l'analyse de votre page.

Étapes à suivre pour examiner le fichier Robots.txt

Avec l'outil robots.txt Tester, vous pouvez vérifier quelles URL sont restreintes et lesquelles ne le sont pas. Suivez ces étapes pour vérifier :

• Exécutez l’outil : ouvrez votre navigateur Web et recherchez « robots tester.txt ». Assurez-vous d'utiliser un outil fiable et reconnu.

• Saisissez l'URL de la page à vérifier : Au bas de la page de l'outil, vous trouverez un champ dans lequel vous pourrez saisir l'URL de la page que vous souhaitez vérifier. Saisissez l'URL complète, y compris le protocole (http:// ou https://).

• Sélectionnez le User-Agent correspondant : Un User-Agent est une chaîne de texte qui identifie le robot de recherche ou le navigateur qui accède à votre site Web. L'outil robots.txt Tester vous permettra de sélectionner l'agent utilisateur que vous souhaitez utiliser pour les tests.

• Appuyez sur le bouton « test » : Une fois que vous avez saisi l’URL et sélectionné le User-Agent, appuyez simplement sur le bouton « test » pour lancer la vérification.

• Vérifiez l'état du bouton « test » : Une fois que l'outil a effectué la vérification, l'état du bouton « test » changera. Si l'URL est bloquée par le fichier robots.txt, vous verrez l'option « bloquée ». En revanche, si l'URL n'est pas restreinte, elle apparaîtra « acceptée ».

À l'aide de l'outil robots.txt Tester , vous pouvez examiner quelles URL de votre site Web sont bloquées ou autorisées par le fichier robots.txt. Cela vous aidera à vérifier que les moteurs de recherche accèdent aux endroits exacts de votre site Web. N'hésitez pas à utiliser cet outil pour améliorer les performances de votre site internet !

Comment modifier le fichier Robots.txt dans Shopify

Si vous souhaitez modifier le fichier robots.txt.liquid, nous vous recommandons de travailler avec un expert Shopify ou d'avoir de l'expérience en édition de code et en référencement. Vous pouvez utiliser Liquid pour ajouter ou supprimer des directives dans le modèle robots.txt.liquid . Cela permet à Shopify de maintenir automatiquement le fichier à jour à l'avenir. Pour un guide complet sur la façon de modifier ce fichier, vous pouvez consulter la page du développeur Shopify « Personnaliser robots.txt.liquid ». Avant de modifier le fichier robots.txt.liquid, supprimez toutes les personnalisations telles que l'utilisation d'un service externe comme Cloudflare. Voici les étapes à suivre :

• Dans l'administrateur Shopify, cliquez sur « Paramètres » puis sur « Applications et canaux de vente » .

• Depuis la page « Applications et canaux de vente » , cliquez sur « Boutique en ligne » .

• Cliquez sur "Ouvrir le canal de vente" .

• Ensuite, sélectionnez « Thèmes ».

• Cliquez sur le bouton Options (...) , puis cliquez sur "Modifier le code".

• Sélectionnez « Ajouter un nouveau modèle » et choisissez « robots ».

• Cliquez sur "Créer un modèle" .

• Apportez les modifications souhaitées au modèle par défaut. Si vous avez besoin de plus d'informations sur les variables Liquid et les cas courants, vous pouvez vous référer à la page développeur Shopify "Personnaliser robots.txt.liquid" .

• Enregistrez les modifications apportées au fichier robots.txt.liquid dans votre thème publié.

Il est important de noter que les changements sont immédiats, mais les trackers ne le font pas. Ils réagissent toujours au moment présent. Vous pouvez tester les modifications à l'aide du « testeur robots.txt » de Google.

Avantages de la création d'un fichier Robots.txt dans Shopify

Un bon fichier robots.txt dans Shopify contribuera à améliorer le classement des moteurs de recherche en indiquant quelles parties du site doivent être explorées et lesquelles ne doivent pas l'être. Ceci est particulièrement efficace si vous avez des pages ou des sections que vous ne souhaitez pas indexer par les moteurs de recherche. En personnalisant le fichier robots.txt.liquid de Shopify, vous pouvez spécifier quels chemins ou répertoires ne doivent pas être explorés, ce qui peut être utile pour protéger les informations sensibles ou éviter le contenu en double.

Foire aux questions sur Robots.txt dans Shopify

Comment interpréter le fichier Robots.txt ?

Interpréter le fichier robots.txt implique de comprendre que les directives « Disallow » et « Allow » indiquent quelles parties du site Web peuvent ou non être explorées par les moteurs de recherche. De plus, chaque fois que vous voyez « User-agent », cela précise à quel tracker il s'applique. Les commentaires et le plan du site peuvent fournir des informations supplémentaires. Une interprétation correcte du fichier Robots.txt est très importante pour contrôler l'indexation et l'accès des robots d'exploration Web à votre site.