Plik robots.txt w Shopify: jak go utworzyć i edytować

W świecie e-commerce optymalizacja indeksowania (crawlowania) strony jest kluczowa dla jej widoczności w wyszukiwarkach. Shopify, jedna z najpopularniejszych platform e-commerce, daje właścicielom sklepów internetowych możliwość optymalizacji crawlowania witryny dzięki prawidłowej konfiguracji pliku robots.txt. Dlatego poniżej szczegółowo wyjaśniamy, jak utworzyć i edytować plik robots.txt w Shopify.

Do czego służy plik robots.txt?

Plik robots.txt służy do przekazywania wyszukiwarkom konkretnych instrukcji, jak mają crawlować witrynę i uzyskiwać do niej dostęp. Poniżej wymieniamy najważniejsze funkcje tego pliku. Prosimy przeczytać wszystko uważnie!

• Kontrola dostępu do plików graficznych. Jedną z podstawowych funkcji pliku robots.txt jest zapobieganie temu, aby wyszukiwarki indeksowały i pokazywały w wynikach wyszukiwania pliki graficzne ze strony.

Ograniczenie dostępu do tych obrazów sprawia, że użytkownicy muszą odwiedzić stronę, aby je zobaczyć, co może generować większy ruch i potencjalne konwersje dla firmy. Należy jednak pamiętać, że plik robots.txt nie uniemożliwia innym witrynom kopiowania i udostępniania linków do obrazów.

• Kontrola dostępu do stron internetowych. Pozwala zablokować wyszukiwarkom dostęp do stron, które według właściciela nie wnoszą wartości do strategii.

Gdy wyszukiwarki nie crawlują i nie pokazują takich stron, można zaoszczędzić zasoby serwera i poprawić doświadczenie użytkownika, kierując ruch na najważniejsze strony. Warto pamiętać, że użytkownicy nadal będą mogli wejść na te strony, jeśli mają bezpośredni link.

• Blokowanie dostępu do plików zasobów. Plik robots.txt można też wykorzystać do blokowania dostępu do innych plików, takich jak skrypty i arkusze stylów, które nie są niezbędne do działania strony. Może to zmniejszyć obciążenie serwera i poprawić szybkość ładowania witryny.

Z tej funkcji należy korzystać ostrożnie, ponieważ może zablokować pliki, których wyszukiwarki potrzebują do pracy (na przykład skrypty i arkusze stylów niezbędne do wyświetlenia strony), i negatywnie wpłynąć na analizę strony.

Jak sprawdzić plik robots.txt?

Za pomocą testera robots.txt można sprawdzić, do których adresów URL dostęp jest ograniczony, a do których nie. Aby wykonać sprawdzenie, należy wykonać następujące kroki:

• Uruchomienie narzędzia: należy otworzyć przeglądarkę i wyszukać „robots.txt tester”. Warto korzystać z narzędzia wiarygodnego i uznanego.

• Wpisanie adresu URL strony do sprawdzenia: na stronie narzędzia znajduje się pole, w które można wpisać adres URL strony do sprawdzenia. Należy wpisać pełny adres URL, razem z protokołem (http:// lub https://).

• Wybór odpowiedniego user-agenta: user-agent to ciąg znaków identyfikujący robota wyszukiwarki lub przeglądarkę, która wchodzi na witrynę. Tester robots.txt pozwala wybrać user-agenta, który ma zostać użyty do sprawdzenia.

• Kliknięcie przycisku „testuj”: po wpisaniu adresu URL i wybraniu user-agenta wystarczy kliknąć przycisk „testuj”, aby rozpocząć sprawdzanie.

• Sprawdzenie wyniku testu: po zakończeniu sprawdzania narzędzie pokaże wynik. Jeśli adres URL jest blokowany przez plik robots.txt, zobaczą Państwo informację „zablokowany”. Jeśli adres URL nie jest ograniczony, pojawi się „dozwolony” (dokładne nazwy mogą się różnić w zależności od narzędzia).

Za pomocą testera robots.txt można sprawdzić, które adresy URL witryny są blokowane, a które dozwolone przez plik robots.txt. Dzięki temu można upewnić się, że wyszukiwarki docierają dokładnie do właściwych stron witryny. Warto korzystać z tego narzędzia, aby poprawić wydajność strony!

Jak edytować plik robots.txt w Shopify

Jeśli chcą Państwo edytować plik („jak edytować robots.txt w Shopify”) robots.txt.liquid, zalecamy współpracę z ekspertem Shopify lub doświadczenie w edycji kodu i SEO. Można za pomocą Liquid dodawać lub usuwać dyrektywy w szablonie robots.txt.liquid. Dzięki temu Shopify może w przyszłości automatycznie aktualizować plik. Pełny poradnik dotyczący edycji tego pliku znajdą Państwo na stronie dla deweloperów Shopify „Customize robots.txt.liquid” (po angielsku). Przed edycją pliku robots.txt.liquid należy usunąć wszelkie dostosowania, takie jak użycie zewnętrznej usługi, np. Cloudflare. Oto kroki do wykonania:

• W panelu administracyjnym Shopify należy kliknąć „Ustawienia”, a następnie „Aplikacje i kanały sprzedaży”.

• Na stronie „Aplikacje i kanały sprzedaży” należy kliknąć „Online Store”.

• Następnie należy kliknąć „Otwórz kanał sprzedaży”.

• Potem należy wybrać „Motywy”.

• Należy kliknąć przycisk opcji (...), a następnie „Edytuj kod”.

• Należy wybrać „Dodaj nowy szablon” i wskazać „robots”.

• Należy kliknąć „Utwórz szablon”.

• Należy wprowadzić żądane zmiany w domyślnym szablonie. Więcej informacji o zmiennych Liquid i typowych przypadkach znajdą Państwo na stronie dla deweloperów Shopify „Customize robots.txt.liquid”.

• Należy zapisać zmiany w pliku robots.txt.liquid w opublikowanym motywie.

Warto pamiętać, że zmiany są natychmiastowe, ale roboty wyszukiwarek nie zawsze reagują od razu. Zmiany można sprawdzić za pomocą „testera robots.txt” lub raportu robots.txt w Google Search Console.

Jakie korzyści daje plik robots.txt w Shopify?

Dobry plik robots.txt w Shopify może wspierać pozycjonowanie w wyszukiwarkach, wskazując, które części witryny mają być crawlowane, a które nie. Jest to szczególnie przydatne, jeśli w witrynie są strony lub sekcje, które nie powinny być indeksowane przez wyszukiwarki. Dostosowując plik robots.txt.liquid w Shopify, można określić, które ścieżki lub katalogi nie powinny być crawlowane, co może pomóc uniknąć zduplikowanych treści. Należy jednak pamiętać, że plik robots.txt jest publiczny i nie chroni informacji poufnych.

Najczęstsze pytania o plik robots.txt w Shopify

Jak interpretować plik robots.txt?

Interpretowanie pliku robots.txt oznacza zrozumienie, że dyrektywy „Disallow” i „Allow” wskazują, które części witryny mogą, a które nie mogą być crawlowane przez wyszukiwarki. Z kolei „User-agent” określa, do którego robota odnosi się dana reguła. Komentarze i „Sitemap” mogą dostarczać dodatkowych informacji. Prawidłowa interpretacja pliku robots.txt jest bardzo ważna, aby kontrolować indeksowanie i dostęp robotów do witryny.