Как найти и закрыть дубли страниц

SEO

Наличие на конкретном ресурсе дублирования уже существующих страниц – распространенная проблема, которая весьма негативно воспринимается системами поискового формата, такие «повторения» могут стать серьезной проблемой на пути поискового продвижения ресурса. Поэтому, данный вопрос нужно все время контролировать и отслеживать, чтобы быстро осуществлять процесс закрытия дублей страниц.

Когда на определенном сайте присутствует две страницы одинакового формата и содержания, системы поискового типа не могут правильно оценить особенности данных страниц, чтобы какую-то из них показать потенциальным пользователям на основании введения запроса в систему поиска. Поэтому, осуществляется удаление страницы из поиска.

Именно по этой причине возникают такие проблемы:

  • Рейтинг ресурса может очень сильно снизиться причем за короткий промежуток времени;
  • Активно снижаются ранее сформированные позиции ключевых фраз;
  • Система «мечется» между несколькими страницами, меняя их показатели, что формирует негативные скачки позиций и влияет на общий процесс продвижения ресурса.

О том, как проверить, найти и закрыть дубли страниц нужно узнать заранее, чтобы в дальнейшем из-за данной проблемы не возникало непоправимых и сложных последствий.

Какие бывают дубли страниц?

Существует два типа:

  1. Полные дубли, когда присутствуют страницы с одинаковым адресом, дубли с html и https, а также копии, которые были спровоцированы ссылками реферального формата, наличие проблем с иерархией разделов, что в свою очередь провоцирует генерацию копий, неправильные настройки страницы, которые провоцируют образование дубликатов и пр.;
  2. Частичные. Найти их будет сложнее, появляются они именно из-за особенностей системы управления. Это могут быть копии, которые создаются применяемыми фильтрами, страницами сортировок, блоками описаний и комментариев, и пр.

Как произвести поиск дублей?

Существуют разные способы, посредством которых можно произвести проверку. После того, как будут выявлены повторяемые страницы нужно будет принять меры по устранению (будут описаны ниже).

Программа XENU (полностью бесплатно)

Очень удобная и популярная программа, которая работает на всевозможных ресурсах, причем учитываются также те, которые еще не были проиндексированы, кроме того, программа является независимой от сервисов онлайн формата.  Посредством данного обеспечения можно проверять сайты, которые не имеют накопленной статистики.

Программа осуществляет специализированное сканирование по мета описаниям, а также повторяющимся заголовкам. После проведения сканирования предоставляются данные о наличии дублей, что позволяет вебмастеру оперативно осуществлять устранение. Программа отличается удобной навигацией, простотой использования. Также она является абсолютно бесплатной.

Screaming Frog SEO Spider

Программа имеет такую же структуру проверки, как и XENU, но в тоже время она отличается очень красочным оформлением. Одновременно осуществляется проверка до 500 ссылок сайта, причем такую проверку можно произвести бесплатно. А вот если планируется более объемная проверка, то придется заплатить за подписку. Многие специалисты указывают на то, что программа является очень эффективной, также очень проста в использовании.

Netpeak Spider

Программа основана на сканировании сайта, предоставляет очень подробный отчет, на основании которого достаточно легко в дальнейшем принимать определенные решения по устранению дублей и дальнейшему продвижению ресурса. Следует отметить, что она является платной.

Сервисы онлайн формата

Существует масса специализированных онлайн ресурсов — сервисов, которые позволяют быстро находить дубли и битые ссылки. В соответствии с условиями конкретного ресурса можно одновременно осуществить процесс проверки до 250 страниц в бесплатном формате. Подписка же в таких сервисах позволяет проверять до 25 тыс. страниц.

Яндекс.Вебмастер

Для поиска дублей можно применять Яндекс.Вебмастер, но исключительно после того, как сайт наберет определенную статистику. В инструментах нужно найти вкладку – индексирование, после чего выбрать — страницы, и уже тут можно увидеть те страницы, которые были исключены системой поискового формата, и выяснить, в чем состоит причина их удаления. Как вы понимаете, одной из причин удаления данных страниц является наличие дублированного контента.  Полноценная информация по данному вопросу будет доступна под адресом конкретной страницы. Посредством нюансов оценки запросов пускового формата, можно будет получить список тех страниц ресурса, которые на текущий момент времени находятся в выдаче, и это позволит вручную осуществить процедуру поиска определенных повторяемых страниц. Многие специалисты в процессе активного продвижения ресурсов используют именно такой вариант поиска дублированных страниц.

Google Search Console

Консоль вебмастера в данной системе также имеет определенный инструмент, посредством которого можно обнаружить дубли страницы. Нужно открыть свой интернет ресурс в гугл вебмастер – консоль. После чего перейти на вкладку – вид, и в поиске выбрать оптимизация. Таким образом, вы сможете увидеть наличие повторяющихся заголовков, а также всевозможных мета описаний. Как вы понимаете, это и есть повторения, от которых нужно своевременно избавиться, чтобы в дальнейшем не было никаких проблем и сложностей с последующим продвижением и оптимизацией.

Как бороться с дублями страниц?

В процессе борьбы с повторяющимися страничками особое внимание следует уделить самому ресурсу, а вернее выставлению грамотных настроек, которые исключают образование повторений, и это можно выполнить с учетом определенных настроек платформы. В данной ситуации уникальных рецептов не существует, но для WordPress и Joomla есть ряд практических советов и рекомендаций, которые позволяют быстро искать и удалять дубли.

Joomla

Данная платформа нередко становится основой возникновения серьезного количества дублей, что нередко связывается именно с определенными особенностями по вложенности материалов на разных уровнях, а также с тем, что существуют различные пункты, в которые и вносится разная информация. Присутствие функции «маршрутизация» не позволяет избавляться от формирования повторяющихся страничек.

Можно использовать несколько решений:

  • Установка плагина бесплатного формата StyleWare Content Canonical. Данный плагин по своей сути осуществляет процесс фиксации адресов материалов, всевозможных статей, разнообразных категорий и провоцирует переадресацию всех неканонических ссылок;
  • Artio JoomSEF- компонент бесплатного формата, который обеспечивает поиск, а также удаление повторяющихся страниц. SH404 – платный, который позволяет также искать и удалять дубли. Также есть возможность посредством данных компонентов осуществить процесс закрытия страниц, которые выступают дублями от процедуры индексации.

Сразу же нужно отметить, что данные расширения активно работают исключительно в том случае, если их устанавливают на новый сайт.

При осуществлении действий по установке также нужно учитывать:

  • Если поставить данные плагины на сайт, где присутствуют статьи с индексом, это «убьет» почти все показатели;
  • Удаление дублей не происходит автоматизировано, за всем придется следить крайне внимательно, иначе дубли все равно будут попадать в индекс;
  • Управление данными компонентами осуществляется очень просто и легко.

Нужно понимать, что наличие повторений провоцирует попадание таких страниц в индекс, то системы поискового характера не могут определить основную страничку ресурса, и нередко происходит так, что основная страница удаляется, а остается повторяющаяся. Соответственно, очень важно организовать процесс борьбы с дублями внутри сайта. Также можно создать «подсказку» поисковым системам на то, что их не стоит индексировать посредством файла robots.txt.

Директива Disallow поисковой системой Яндекс воспринимается исключительно как точное указание. Что касается Google, то в данном случае блоки директив [Disallow: /*?] может иметь весьма негативное значение, так как система просто перестает сканировать те странички, которые были закрыты, и не будет впоследствии по ним осуществлять процедуру обновления информационных данных. Для того, чтобы создать команду боту данной системы нужно четко прописывать мета теги <meta name=»robots» content=»noindex»/>, их можно будет добавить в редакторы платформы на специализированную вкладку «Публикация».

Поиск и удаление повторяющихся страниц на WordPress

Нередко формируется дубль по архивам тегов, а также по автору и дате, по категории. Чтобы удалить всевозможные дубли в данной системе рекомендуется просто закрыть все архивы от процесса индексации, а также осуществить закрытие архивов по автору и дате.

Также можно для данных целей применять файл robots.txt (только с учетом тех рекомендаций, которые были указаны выше). Лучше всего установить специальный сео плагин, посредством которого можно будет активно вычислять и удалять дубли:

  • Yast SEO;
  • All in One SEO Pack.

Данные плагины имеют настройки, посредством которых можно произвести процесс закрытия архивов от индекса. Также присутствует масса других настроек, которые позволяют получить перспективы оптимизации на данной платформе.

Выводы

В данной статье были раскрыты основные и самые простые способы, как проверить, найти и закрыть дубли страниц, чтобы получить перспективы оптимальной индексации. Практика же показывает, что на WordPress действительно можно проработать дубли страниц и устранить данную проблематику или же свести ее к минимуму. Что же касается Joomla, то в данной ситуации поиску дублей придется уделять весьма значительное количество времени, также нужно будет все время контролировать данный процесс, осуществлять контроль взаимодействия с различными инструментами веб-мастеров, автоматизировать процесс поиска дублей не получится.

Рейтинг
Паук - Cтудия интернет-маркетинга
Добавить комментарий