robots.txt

robots.txt

Полное описание


АНАЛИЗ ROBOTS.TXT

Google, Инструмент проверки файла robots.txt - google.com/webmasters/tools/robots-t