№1. Простой вариант заполнения Robots.txt
Сегодня я Вам расскажу как правильно заполнить текстовый файл Robots.txt. Это обычный текстовый файл, который можно создать и отредактировать (изменить содержимое) в блокноте Windows. Он Располагается в корневой теке сайта - http://yoursite.ru/robots.txt. Главное его предназначение - это задавать определённые директивы поисковым системам - что и когда делать на сайте.
Самый простой robots.txt, который всем поисковым системам, разрешает всё индексировать, выглядит вот так:
User-agent: *
Disallow:
Если у директивы Disallow не стоит наклонный слеш в конце, то разрешены все страницы для индексации.
Такая директива полностью запрещает сайт к индексации:
User-agent: *
Disallow: /
User-agent - обозначает для кого предназначены директивы, звёздочка обозначает что для всех ПС, для Яндекса указывают User-agent: Yandex.
В справке Яндекса на
...
Читать дальше »