Все о robots.txt - 1website

Поисковая машина перед тем как индексировать ваш сайт, ищет в корневом каталоге файл с именем robots.txt. Находится он www.домен/robots.txt

В этом файле оптимизаторы разрешают или запрещают индексировать определенные моменты вашего сайта.

Если вы оставите файл пустым, поисковая машина проиндексирует сайт полностью, независимо, хотите ли вы этого, или что-то скрываете в своем фтп, например, цензурные картинки, или просто текст. У меня был случай, когда я залил файлы на фтп, чтобы их скачал мой друг, файлы были нежелательного содержания, ПС после обхода моего сайта нашла файлы, и сделала пессимизацию сайта, поэтому будьте внимательны, что вы заливаете на FTP.

Был также случай, когда я сделал работу наполовину, и после текстового апдейта ПС нашел html странички с «полу-работой’ и внес в индекс. Для ПС — это плюс, т.к. дополнительная информация, но для людей… — можете потерять трафик.

Если у вас нету файла robots.txt — просто создайте его в блокноте, и залейте в корень FTP.

А теперь изучим основные функции:

1. Строка user-agent — говорит о названии робота.
К примеру: user-agent: googlebot
Но лучше написать такой код: символ * — обозначает, что правила указываются для всех роботов. user-agent:

2. Далее, вторая строка disallow: — указываем то, что не нужно сканировать поисковой машине. (Указываем папки в FTP, которые мы не хотим индексировать, перед папкой ставится /). К примеру, если у вас сайт на Joomla — можно указать: disallow: /administrator

3. Далее, закрываем папки на свой выбор.
Важно знать:

Если в robots.txt указан следующий код: то мы разрешаем всем роботам индексировать все папки нашего сайта, а значит и все файлы, и все страницы сайта.
user-agent: *
disallow:

Если я хочу занести данную страницу в роботс, тогда код будет таков:
disallow: /stat-seo/robots-txt.html

Если я хочу занести целую категорию со статьями в роботс, код будет таков:
disallow: /stat-seo

Заполните данные ниже, я свяжусь с вами в течение 15 минут в рабочее время
Заказать обратный звонок