Plik robots.txt

Plik /robots.txt, który mówi robotom, jakie adresy mogą pobierać i gdzie leży mapa witryny. Reguła blokująca stronę główną ukrywa przed wyszukiwarką całą witrynę.

• Pomoc

robots.txt to plik tekstowy w katalogu głównym witryny, który porządne roboty czytają przed czymkolwiek innym. Zawiera grupy User-agent z regułami Disallow i Allow oraz wiersze Sitemap: wskazujące mapy witryny. Steruje pobieraniem, a nie indeksowaniem: zablokowana strona może i tak trafić do wyników, jeśli linkują do niej inne witryny. Aby usunąć stronę z indeksu, użyj noindex.

Jak sprawdza to SiteScan

Skaner pobiera /robots.txt i stosuje reguły tak jak Google i Bing: wygrywa najdłuższa pasująca reguła, a przy równej długości Allow ma pierwszeństwo przed Disallow.

• Czerwony, „Blokuje roboty”: reguły dla wszystkich robotów (User-agent: *) blokują stronę, od której zaczął się skan, zwykle główną. Witryna jest ukryta przed wyszukiwarką.
• Zielony: plik istnieje, wartość to jego rozmiar.
• Żółty, „Brak”: pliku nie ma. Roboty uznają wtedy wszystko za dozwolone, ale tracisz miejsce na wskazanie mapy witryny.

Błąd serwera, odmowa (401, 403, 429) czy strona błędu w HTML nie są traktowane jako brak pliku — wiersz pokaże „Nie sprawdzano”.

Bezpieczne minimum

User-agent: *, pusty Disallow: i Sitemap: https://example.com/sitemap.xml, każde w osobnym wierszu. Pozostawiony Disallow: / ze środowiska testowego to najczęstsza przyczyna czerwonego wiersza. Więcej w artykule o robots.txt i mapach witryny; zobacz też CSS i JS dla robotów.