Поисковая привлекательность сайта важна для его успешного продвижения. Если присутствуют какие-либо ошибки, возможно снижение позиций ресурса и эффективности его работы. Важную роль играют и дубли. Поисковые системы ищут качественный и уникальный контент. Они не терпят копипаста, даже если он находится в пределах одного веб-ресурса. Наличие дубликатов чревато многочисленными неприятностями:
- сложности с индексацией — особенно для крупных проектов;
- размытие релевантности и ранжирование нецелевых страниц;
- утрата естественных ссылок, появляющихся на дубликатах;
- санкции поисковиков.
Понимание того, как найти дубли страниц на сайте, имеет большое значение. Вы сможете их устранить и избежать всех упомянутых проблем.
Разновидности дублей
Прежде чем начать искать дубликаты, необходимо разобраться в их видах. По сути, страницы-дубли характеризуются полностью или частично совпадающим контентом. Причём адрес бывает практически идентичным, но с некоторыми различиями. К примеру:
- с доменом без www и тем, что начинается на www;
- с .php или .html;
- с «/» в конце.
Если страницы-дубли находятся на одном ресурсе, они считаются внутренними. При этом ещё различают два вида:
- Полные дубли — когда одна страница имеет 2 и больше адреса.
- Неполные дубли — когда конкретная часть контента повторяется на нескольких страницах, не являющихся копиями.
Выявить полные дубли гораздо проще. Да и проблем от них получается больше из-за их массовости. Найти и удалить неполные дубликаты сложнее. Здесь придётся переделывать структуру и формировать её заново, на этот раз правильно.
Почему они появляются
Неполные дубли — результат сознательной разработки структуры сайта. В этом случае владелец ресурса либо не заметил повторения одинакового контента, либо желает привлечь к нему больше внимания. Получается, что одни и те же тексты выводятся в разных блоках и копируются во многих местах.
О присутствии полных дублей владелец сайта может и не догадываться. Зачастую причины их появления следующие:
- специфика CMS, которая позволяет вставлять синонимы в окончание названия страниц. К примеру, если прописать в конце слеш или ввести адрес без него, мы всё равно попадём на один и тот же сайт;
- дополнительный домен с www для одного проекта. Страницы будут также открываться на обоих адресах;
- редизайн, спровоцировавший изменения урлов.
Распознать такие дубли действительно сложно. Но их необходимо найти и устранить. В противном случае проблем с сайтом не избежать.
Методы поиска и удаления дубликатов
Чтобы выявить повторяющиеся страницы, можно использовать большое количество удобных онлайн-сервисов. Самые популярные:
- Вебмастер Google. Если ещё не добавили сюда сайт, обязательно сделайте это. В «Гугл» хорошо отслеживается индексация страниц, анализируются дубликаты и т. д.
- Программа Screaming Frog SEO Spider. Это утилита для оптимизации сайтов. С её помощью отлично сканируются все страницы и файлы на ресурсе. После этого показываются блоки с битыми ссылками, дубликатами. Кроме того, программа прекрасно помогает в перелинковке.
- «Контент-Вотч». Это сайт для проверки уникальности текстов и ресурсов. В специальное поле вы вводите адрес и начинаете проверку. После сканирования вам будут доступны все результаты.
Когда вы сумели найти дубли страниц на сайте, останется их удалить. Самый простой способ — запретить поисковикам индексацию в файле robots.txt. Поможет также настойка 301 редиректов, установка специальных тегов. В целом это довольно сложная техническая работа. Если нет соответствующих навыков, лучше доверить удаление дублей специалистам.
