Generator robots.txt

Utwórz robots.txt z wieloma blokami user-agent, regułami Allow/Disallow, opcjonalnym Crawl-delay, Host oraz wierszami Sitemap. Podgląd aktualizuje się na bieżąco podczas wpisywania.

Bloki User-agent

Ustawienia globalne

Adresy URL map witryny (po jednym w wierszu) Host (opcjonalnie; używany przez niektóre crawlery)

Uwagi: Host jest respektowany przez niektóre crawlery (np. Yandex). Crawl-delay nie jest używany przez Google, ale może być stosowany przez inne. Symbole wieloznaczne * i $ są powszechnie obsługiwane (nie należą do podstawowego RFC).

Podgląd (robots.txt)

Tester adresów URL

User-agent Adres URL lub ścieżka

Przypomnienie: robots.txt jest publicznie dostępny i stanowi wskazówkę dla poprawnie działających robotów; nie jest mechanizmem kontroli dostępu.

Komentarze (0)

Podziel się swoją opinią — prosimy o uprzejmość i trzymanie się tematu.

Nie ma jeszcze komentarzy. Zostaw komentarz i podziel się swoją opinią!

Zaloguj się, aby komentować

E-mail

Haslo

Nie pamiętasz hasła? Utwórz konto

Asted Cloud