Обзор интернета - Lite Веб-мастеру Графика Игры, Спорт Программы Рецепты Время Рождество † Библия ⋮

Поиск по сайту

×


Поиск по разделам


Тестируем сайт

Свой сайт Хостинг Облака Домены Ресурсы Формы на сайт Раскрутка
robots.txt SEO Валидаторы Веб-мастеру Интернет Ключевые слова Проверка Продвижение Реклама Ресурсы Скорость интернета Ссылки Статистика Тесты

Создаем robots.txt

robots.txt
Указывает поисковым роботам какие каталоги брать для индексации не следует. Если пуст или не существует, то все можно брать.
Подробнее о robots.txt

Пример

User-agent: *
Disallow: /news
# запретить всем роботам индексировать ссылки,
# которые начинаются с /news

User-agent: StackRambler
User-agent: Aport
Disallow: /eng
Disallow: /news
#Рамблеру и Апорту запретить индексацию ссылок,
#которые начинаются с /news и /eng

User-agent: Yandex
Disallow:
#Яндексу разрешить все.

ГЕНЕРАТОР ФАЙЛА ROBOTS.TXT

User-agent:
Disallow:

Результат

МЕТА-тег ROBOTS


Результат выделить

Анализ robots.txt

  1. google.com/webmasters/tools/robots-testi - Google, Инструмент проверки файла robots.txt
  2. websiteplanet.com/ru/webtools/robots-txt - Website Planet

Веб-мастеру

  1. webmaster.yandex.ru/tools/robotstxt/ - Анализ robots.txt - Здесь можно выяснит, что у нас не так, если у нас что-то не так в файле robots.txt, подробнее о robots.txt.

Веб мастеру Что ищут? Статистика посещаемости сайта МЕТА-теги .htaccess CHMOD

robots.txt
Почтовая форма Защищенный Email Цвета в HTML Определитель скорости закачки Построитель потока RSS в JavaScript Шифрование HTML в javascript