SEO: robots.txt blokuje stronę mimo obecności w sitemap.xml
Poradnik techniczny · Kacper Bernecki
Mapa witryny zawiera adres, lecz robot nie może wejść na niego z powodu reguły Disallow. Sitemap jest wskazówką do odkrywania URL, a robots.txt może niezależnie zabraniać ich skanowania.
Jak ustalić źródło błędu
Otwórz produkcyjny /robots.txt i sprawdź reguły odnoszące się do konkretnej ścieżki.
W Search Console przeprowadź Inspekcję URL i porównaj wskazanie blokady z rzeczywistym plikiem robots.
Co zrobić krok po kroku
1. Usuń niezamierzoną regułę Disallow dla publicznych stron, zachowując świadomie chronione obszary.
2. Po zmianie pliku sprawdź, czy URL zwraca 200, ma poprawny canonical oraz nie zawiera noindex.
Jak sprawdzić wynik
Robot może pobrać publiczną stronę, a raport po ponownym crawlu nie wskazuje blokady robots.
Czego nie robić
Nie używaj robots.txt do ukrywania prywatnych danych przed nieuprawnionymi użytkownikami.