Techniczne SEO to nie miejsce na zgadywanki
Edycja pliku robots przypomina operację na otwartym sercu. Jeden nieostrożny ruch i pacjent (Twoja strona) traci puls (ruch z Google).
Dlatego przygotowaliśmy dla Ciebie żelazną listę kontrolną.
Niezależnie od tego, czy jesteś weteranem SEO, czy dopiero zaczynasz, przejrzyj te punkty, zanim klikniesz "Zapisz".
1. Sprawdź kodowanie pliku (UTF-8)
To banalny błąd techniczny. Twój edytor tekstu (np. Notatnik w Windows) może domyślnie zapisać plik w kodowaniu ANSI.
Google wymaga kodowania UTF-8. Jeśli użyjesz innego, a w pliku znajdą się polskie specyfikacja robots.txt znaki (np. w komentarzach), robot może błędnie odczytać cały plik.
2. Weryfikacja "Śmiertelnej Blokady"
Czy przenosiłeś stronę z wersji testowej na produkcyjną?
Szukaj w pliku tej linijki:
Disallow: /
Jeśli ją widzisz i nie jest ona ograniczona do konkretnego bota (np. User-agent: GPTBot), natychmiast ją usuń. To komenda "Wstęp wzbroniony dla wszystkich", która wyczyści Twoją stronę z Google w kilka dni.
3. Dostęp do zasobów (CSS/JS)
Upewnij się, że nie blokujesz folderów odpowiadających za wygląd strony.
Sprawdź, czy co to jest plik robots w sekcji Disallow NIE MA folderów takich jak:
- /css/ /js/ /wp-content/themes/ /wp-includes/js/
Poprawna optymalizacja pliku robots musi pozwalać Googlebotowi na renderowanie graficzne witryny.
4. Mapa witryny (Absolutny URL)
Jeśli zdecydowałeś się dodać mapę witryny do pliku, sprawdź jej adres.
Czy zaczyna się od https://? Jeśli wpisałeś tylko Sitemap: /sitemap.xml, większość botów to zignoruje. Musi być pełny adres domeny.
5. Test w Google Search Console
Nigdy nie ufaj swojemu "oku". Ludzki wzrok łatwo przeoczy literówkę (np. Disalow zamiast Disallow).
Przed finalnym wdrożeniem skopiuj treść swojego pliku i wklej go do testera robots.txt w Google Search Console lub zewnętrznego walidatora.
Przeprowadź symulację dla kilku kluczowych adresów URL (strona główna, produkt, kategoria, panel logowania), aby upewnić się, że blokady działają tam, gdzie powinny, a przepuszczają tam, gdzie muszą.
Podsumowanie
Stosowanie tej prostej checklisty zajmuje 3 minuty, a oszczędza tygodnie stresu i walki o odzyskanie pozycji.
Pamiętaj: Twój plik robots ma być strażnikiem, a nie sabotażystą. Traktuj go z szacunkiem.
Masz problem z indeksacją strony?
Napisz do naszych ekspertów.
Rozwiązujemy problemy techniczne od ręki.