robots.txt in Shopify bearbeiten: so erstellen Sie die Datei

Im E-Commerce ist die Optimierung des Crawlings einer Website entscheidend für die Sichtbarkeit in Suchmaschinen. Shopify, eine der beliebtesten E-Commerce-Plattformen, bietet Shop-Betreibern die Möglichkeit, das Crawling ihrer Website durch die richtige Konfiguration der robots.txt-Datei zu optimieren. Deshalb erklären wir Ihnen im Folgenden ausführlich, wie Sie die robots.txt-Datei in Shopify erstellen und bearbeiten.

Wofür dient die robots.txt-Datei?

Die robots.txt-Datei gibt Suchmaschinen konkrete Anweisungen, wie sie eine Website crawlen und darauf zugreifen sollen. Nachfolgend die wichtigsten Funktionen. Bitte lesen Sie alles aufmerksam durch!

• Zugriff auf Bilddateien steuern. Eine der Hauptfunktionen der robots.txt ist es, zu verhindern, dass Suchmaschinen die Bilddateien Ihrer Seite indexieren und in den Suchergebnissen anzeigen.

Wenn Sie den Zugriff auf diese Bilder einschränken, müssen Nutzer Ihre Seite besuchen, um sie zu sehen, was mehr Traffic und potenzielle Conversions für Ihr Unternehmen bringen kann. Beachten Sie jedoch, dass die robots.txt andere Websites nicht daran hindert, die Links zu Ihren Bildern zu kopieren und zu teilen.

• Zugriff auf Webseiten steuern. Sie können Suchmaschinen den Zugriff auf Seiten sperren, die Ihrer Meinung nach für Ihre Strategie keinen Mehrwert bieten.

Wenn Suchmaschinen diese Seiten nicht crawlen und anzeigen, können Sie Serverressourcen sparen und die Nutzererfahrung verbessern, indem Sie den Traffic auf die wichtigsten Seiten lenken. Beachten Sie, dass Nutzer diese Seiten weiterhin aufrufen können, wenn sie einen direkten Link dazu haben.

• Zugriff auf Ressourcendateien sperren. Mit der robots.txt lässt sich auch der Zugriff auf andere Dateien blockieren, etwa Skripte und Stylesheets, die für die Funktion Ihrer Seite nicht entscheidend sind. Das kann die Serverlast verringern und die Ladegeschwindigkeit Ihrer Website verbessern.

Setzen Sie diese Funktion nur mit Vorsicht ein, denn sie kann Dateien blockieren, die Suchmaschinen für ihre Arbeit benötigen (zum Beispiel Skripte und Stylesheets, die zur Darstellung der Seite nötig sind), und die Analyse Ihrer Seite negativ beeinflussen.

Wie prüfen Sie die robots.txt-Datei?

Mit einem robots.txt-Tester können Sie prüfen, für welche URLs der Zugriff eingeschränkt ist und für welche nicht. Gehen Sie dazu wie folgt vor:

• Tool starten: Öffnen Sie Ihren Browser und suchen Sie nach „robots.txt tester“. Achten Sie darauf, ein zuverlässiges und anerkanntes Tool zu verwenden.

• URL der zu prüfenden Seite eingeben: Auf der Seite des Tools finden Sie ein Feld, in das Sie die URL der Seite eingeben können, die Sie prüfen möchten. Geben Sie die vollständige URL einschließlich Protokoll (http:// oder https://) ein.

• Passenden User-Agent auswählen: Ein User-Agent ist eine Zeichenfolge, die den Suchroboter oder Browser kennzeichnet, der auf Ihre Website zugreift. Mit dem robots.txt-Tester können Sie den User-Agent auswählen, den Sie für die Prüfung verwenden möchten.

• Auf „Testen“ klicken: Nachdem Sie die URL eingegeben und den User-Agent ausgewählt haben, klicken Sie einfach auf „Testen“, um die Prüfung zu starten.

• Ergebnis der Prüfung ansehen: Nach der Prüfung zeigt das Tool das Ergebnis an. Wird die URL von der robots.txt blockiert, sehen Sie den Hinweis „blockiert“. Wird die URL nicht eingeschränkt, erscheint „zugelassen“ (die genauen Bezeichnungen können je nach Tool abweichen).

Mit dem robots.txt-Tester können Sie prüfen, welche URLs Ihrer Website von der robots.txt blockiert oder zugelassen werden. So stellen Sie sicher, dass Suchmaschinen genau auf die richtigen Seiten Ihrer Website zugreifen. Nutzen Sie dieses Tool, um die Leistung Ihrer Website zu verbessern!

robots.txt in Shopify bearbeiten: so geht es

Wenn Sie die Datei („robots.txt in Shopify bearbeiten“) robots.txt.liquid bearbeiten möchten, empfehlen wir Ihnen, mit einem Shopify-Experten zusammenzuarbeiten oder Erfahrung in der Code-Bearbeitung und im SEO zu haben. Sie können mit Liquid Direktiven hinzufügen oder entfernen, und zwar in der Vorlage robots.txt.liquid. So kann Shopify die Datei künftig automatisch aktuell halten. Eine vollständige Anleitung zum Bearbeiten dieser Datei finden Sie auf der Shopify-Entwicklerseite „Customize robots.txt.liquid“ (auf Englisch). Entfernen Sie vor der Bearbeitung der Datei robots.txt.liquid alle Anpassungen, etwa den Einsatz eines externen Dienstes wie Cloudflare. Gehen Sie anschließend wie folgt vor:

• Klicken Sie im Shopify-Adminbereich auf „Einstellungen“ und dann auf „Apps und Vertriebskanäle“.

• Klicken Sie auf der Seite „Apps und Vertriebskanäle“ auf „Online Store“.

• Klicken Sie auf „Vertriebskanal öffnen“.

• Wählen Sie anschließend „Themes“.

• Klicken Sie auf die Schaltfläche mit den Optionen (...) und dann auf „Code bearbeiten“.

• Wählen Sie „Neue Vorlage hinzufügen“ und dann „robots“.

• Klicken Sie auf „Vorlage erstellen“.

• Nehmen Sie die gewünschten Änderungen an der Standardvorlage vor. Weitere Informationen zu Liquid-Variablen und typischen Anwendungsfällen finden Sie auf der Shopify-Entwicklerseite „Customize robots.txt.liquid“.

• Speichern Sie die Änderungen an der Datei robots.txt.liquid in Ihrem veröffentlichten Theme.

Die Änderungen wirken sofort, die Crawler reagieren jedoch nicht immer unmittelbar. Sie können die Änderungen mit einem „robots.txt-Tester“ oder mit dem robots.txt-Bericht in der Google Search Console prüfen.

Welche Vorteile hat eine robots.txt in Shopify?

Eine gute robots.txt in Shopify kann das Ranking in Suchmaschinen unterstützen, weil sie festlegt, welche Bereiche der Website gecrawlt werden sollen und welche nicht. Das ist besonders sinnvoll, wenn Sie Seiten oder Bereiche haben, die nicht von Suchmaschinen indexiert werden sollen. Mit der Anpassung der robots.txt.liquid in Shopify legen Sie fest, welche Pfade oder Verzeichnisse nicht gecrawlt werden sollen. Das kann helfen, doppelte Inhalte zu vermeiden. Beachten Sie jedoch: Die robots.txt ist öffentlich einsehbar und schützt keine vertraulichen Informationen.

Häufige Fragen zur robots.txt in Shopify

Wie liest man eine robots.txt-Datei?

Eine robots.txt-Datei zu lesen bedeutet zu verstehen, dass die Direktiven „Disallow“ und „Allow“ festlegen, welche Bereiche der Website von Suchmaschinen gecrawlt werden dürfen und welche nicht. „User-agent“ gibt außerdem an, für welchen Crawler die Regeln gelten. Kommentare und „Sitemap“ können zusätzliche Informationen liefern. Die richtige Interpretation der robots.txt-Datei ist sehr wichtig, um die Indexierung und den Zugriff von Webcrawlern auf Ihre Website zu steuern.