Запрет индексации — практические способы

SEO

Зачастую необходимо закрывать сайт от индексации. Прибегают владельцы к этой процедуре во время проведения технических работ, внесения изменений в отдельные его части. Это позволяет избежать попадания ненужной информации под сервисы поисковых систем. Сделать закрытие интернет-сайта можно нескольким способами.

Веб-мастерам требуется закрытие ресурса по двум причинам:

  • На вновь созданном блоке произвести настройку меню, наполнить материалами и статьями, изменить интерфейс страниц. Логично не показывать поисковым машинам черновой вариант сайта. Когда все содержимое будет приведено в желаемый вид, а мусорные страницы удалены, можно показывать его для индексации поисковыми роботами.
  • К уже существующему сайту веб-мастеры создают его аналог. На дублирующем ресурсе планируется тестировать правки и доработки, перед «заливкой» на основную площадку. Во избежание нанесения вреда основному проекту дубликат закрывают от индексации. Этот маневр поможет не ввести в заблуждение поисковые системы.

Способы закрытия сайта от индексации

  1. Используя панель WordPress
  2. Внесение корректив в robots.txt
  3. Изменение кода в файле .htaccess
  4. Прописывание метатега robots

Остановимся на каждом способе подробнее.

Использование панели WordPress

Этот способ подходит для проектов, созданных на базе WordPress. Предложенный алгоритм поможет решить проблему запрета индексации просто и быстро:

  • Зайти в «Панель управления»;
  • Перейти во вкладку «Настройки»;
  • Найти «Чтение»;
  • В ней открыть меню «Видимость для поисковиков»;
  • Напротив строчки «Рекомендовать поисковым роботам ….» поставить галочку;
  • Сохранить внесенные поправки.

Алгоритм автоматически внесет изменения в файл robots.txt, отключив сайт от индексации.

ВАЖНО! Запрет индексации описанным методом срабатывает для Яндекса. В отношении Google страницы могут продолжить сканироваться роботами.

Внесение корректив, используя файл robots.txt

Изначально в корне сайта такого файла нет. Его нужно создать в любом текстовом редакторе. Подойдет самый простой — Блокнот. У нового файла сделать расширение .txt. Имя присвоить robots.

Полученный файл помещается в корень ресурса.

Путь к нему выглядит следующим образом:

site.ru/robots.txt

Подготовив все необходимое, переходим к внесению корректив путем прописывания соответствующего текста.

Содержание файла определяется целями закрытия:

  • закрыть от всех «поисковиков»
  • закрытие от Яндекса.

В строке User-agent звездочку заменяем на Yandex.

  • Скрытие от Google.

В строке User-agent звездочку заменяем на Googlebot.

От остальных поисковых систем кода можно найти в интернете.

Укажем наиболее известные и чаще всего используемые:

  • У поисковика Yahoo — имя робота Slurp;
  • У Спутника робот – SputnikBot;
  • Bing – MSNBot.

Проверка внесенных поправок на действенность (на примере Яндекса)

  • Добавить блок в Яндекс.Веб-мастер.
  • Перейти по ссылке https://webmaster.yandex.ru/tools/robotstxt/.
  • В специальном поле, предназначенном для проверки URL, вписать пару ссылок с сайта.
  • Нажать кнопку «Проверить».
  • При их закрытии от индексации напротив ссылок появится надпись «Запрещено правилом /*?*».

Изменение кода в файле .htaccess

Внесение поправок осуществляется разными вариантами.

Прописыванием кода. Для каждой поисковой системы — отдельная строка. Содержание в строках одинаковое. Меняется содержимое, заключенное в кавычках:

^Googlebot
^Yandex
^Yahoo
^Aport
^msnbot
^spider
^Robot
^php
^Mail
^bot
^igdeSpyder
^Snapbot
^WordPress
^BlogPulseLive
^Parser

Сами строки имеют следующий вид:

SetEnvIfNoCase User-Agent «^Googlebot» search_bot

  • Указать ответ сервера «403» или «410» при обращении на закрываемую страницу ресурса;
  • установить доступ к сайту по паролю путем добавления в файл кода:
1

AuthType Basic

2

AuthName "Password Protected Area"

3

AuthUserFile /home/user/www-auth/.htpasswd

4

Require valid-user

5

htpasswd -c /home/user/www-auth/.htpasswd USERNAME

В третьей строке прописан файл с паролем. Его вы задаете самостоятельно.

В пятой строке в файле паролей прописываются пользователи, имеющие право на авторизацию. Вместо «USERNAME» прописывается имя пользователя.

Прописывание метатега robots

Применяемый мета-тег является приоритетным к исполнению роботами поисковых систем. Для его указания:

  • Открываем шаблон сайта.
  • Находим теги <head>.
  • В любом месте меду ними прописать <meta name=»robots» content=»noindex, nofollow»/> или <meta name=»robots» content=»none»/>;
  • прописав вместо «robots» имя робота поисковой системы, будет запрет индексации только выбранной системы поиска. Имена роботов разных систем указаны в предыдущих вариантах.

Все рассмотренные выше способы подходят для запрета индексации всего сайта или отдельных его страниц. В некоторых ситуациях веб-мастерам необходимо спрятать от роботов-поисковиков небольшие элементы ресурса. Рассмотрим наиболее востребованные параметры, закрываемые от индекса поисковиками.

Скрытие картинок на страницах блока

Поисковые алгоритмы могут негативно воспринять используемые на ресурсе картинки, не являющиеся оригинальными. Обойти эту ситуацию поможет их скрытие:

  • Открыть файл robots.txt.
  • Прописать в нем следующие строки (на примере Яндекса):
  • Изображения с указанными расширениями будут скрыты от индексации.
  • Для других поисковых агрегатов прописывается соответствующее им имя робота.
  • Для скрытия конкретного изображения в строке Disallow надо прописать путь ее местонахождения. Например, /img/pixelplus.gif.
В зависимости от преследуемой цели веб-мастера, подбирается наиболее подходящий вариант из изложенных в статье. Все представленные способы просты в применении. Реализуются в короткий промежуток времени. Алгоритмы доступны для самостоятельной изоляции содержимого, не прибегая к помощи специалистов. Стоит учитывать, что не все описанные способы на 100% действенные.
Паук - Cтудия интернет-маркетинга
Добавить комментарий