Kategoria: SEO i wyszukiwarki

SEO: robots.txt blokuje stronę mimo obecności w sitemap.xml

Poradnik techniczny · Kacper Bernecki

Mapa witryny zawiera adres, lecz robot nie może wejść na niego z powodu reguły Disallow. Sitemap jest wskazówką do odkrywania URL, a robots.txt może niezależnie zabraniać ich skanowania.

Jak ustalić źródło błędu

Otwórz produkcyjny /robots.txt i sprawdź reguły odnoszące się do konkretnej ścieżki.

W Search Console przeprowadź Inspekcję URL i porównaj wskazanie blokady z rzeczywistym plikiem robots.

Co zrobić krok po kroku

1. Usuń niezamierzoną regułę Disallow dla publicznych stron, zachowując świadomie chronione obszary.

2. Po zmianie pliku sprawdź, czy URL zwraca 200, ma poprawny canonical oraz nie zawiera noindex.

Jak sprawdzić wynik

Robot może pobrać publiczną stronę, a raport po ponownym crawlu nie wskazuje blokady robots.

Czego nie robić

Nie używaj robots.txt do ukrywania prywatnych danych przed nieuprawnionymi użytkownikami.