Блог Новой студии

Robots.txt для WordPress

Robots.txt для WordPress

Robots.txt для WordPress выполняет роль дворецкого пускающего или не пускающего индексирующего робота поисковых систем в те или иные раздела сайта. Правильный robots.txt для WordPress должен закрывать все административные части сайта, а также дубли страниц, если таковые появляются в консоли вебмастера поисковых систем.

Зачастую страницы в WordPress дублируются или создаются ненужные урлы после установки тех или иных плагинов, поэтому всегда после этого необходимо проконтролировать индексацию страниц сайта. Если появились ненужные или неизвестно откуда появившиеся урлы, их нещадно необходимо закрывать от посещений написанием новых директив в файле robots.txt.

Также правильный файл robots.txt для системы управления сайтом WordPress должен содержать ссылки на основной хост сайт и на его карту. Стоит отметить что директивы содержащиеся в robots.txt одного сайта не всегда подойдут для другого, поэтому просто скопировать «правильный» файл для WordPress не является панацеей для хорошей индексации.

Приведём к примеру правильный robots.txt для WordPress который является основой для построения системы индексирования всех сайтов, создаваемых в «Новой Веб Студии»

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Отталкиваясь от этих директив можно сделать отличный индексирующий файл, который закроет от индексирования административные части сайта и даст роботам поисковых систем быстрее и качественнее проходить по страницам ресурса.

Понравился пост?
Помоги другим узнать об этой статье, кликни на кнопку социальных сетей!

2017-01-09
1 голос2 голоса3 голоса4 голоса5 голосов ( 5 оценок, среднее: 5,00 из 5 )
Загрузка...

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

*