Search the Community

Хочу поделиться с вами частью того чем я занимаюсь, возможно не каждый день но достаточно часто . Вспоминая проекты с которыми имел дело, из них очень ничтожный процент не имел проблем с дублями. Портянка будет длинной но уверяю вас делать вы будете все намного дольше чем её читать, подбодрил называется)) Большинство даже новичков слышали про дубли, отчасти знают что это ,но пока в тиски не зажмет не предпринимают мер для того чтоб от них избавиться . Виной часто бывает лень, кому-то не хватает времени, а кому-то знаний. Если с 1 и 2-м я вам не могу помочь, то с 3-м постараюсь. Для начала определимся с понятиями что такое дубли. Дубли это страницы которые имеют одинаковое содержание или контент, но находятся по разному адресу. Какие бывают дубли? Классификация дублей Полные дубли Это чистый дубль, 100% копия страницы, которая находиться по отличному от оригинала адресу. Частичные дубли К этому виду дублей относятся страницы, на которых есть только часть дублированного контента. Например страницы с тегами(метками) , текстовый блок который выводится (обычно внизу сайта или в колонке)сквозным через весь сайт ,страницы пагинации с анонсами материалов и тп. Дубли description Такой дубль появляется в том случае когда описание(description)берется из описания сайта либо категории и наследуется в материалах, в которых его не приписывают отдельно. Страница может иметь уникальный контент, но description дубль и это плохо. Если вы создали материал логично и создать для него отдельное описание, материал ведь описывает конкретную тему почему его описание должно быть общим ? Тем более из правильного описания есть ,вероятность что сформируется снипет в выдаче. Дубли TITLE-Н1 В некоторых движках титл и Н1 это одно и тоже,так не должно быть! Это 2 самых весомых тега на странице, всегда разделяйте их, они не должны быть одинаковыми. Вообще это отдельный вопрос и достоин целой статьи , но тут советую вам всегда делать их разными ,если движок не позволяет, пользуйтесь плагинами для реализации этого. Дубли description , TITLE-Н1 можно отслеживать в вебмастере гугла Вид в поиске - Оптимизация HTML или софтом типа xenu . Причины появления дублей Причины бываю разные сама смс плодит дубли, плагин или модуль который вы используете для определенного функционала на вашем сайте, в магазинах и каталогах как правило плодят дубли сортировки. Кстати о них,кривой функционал сортировки может наклепать дублей ровно столько сколько раз его использовали . с сайта на 1000 стр. может выйти милионник запросто(имейте это в виду) Почему дубли это плохо? Как дубли валят сайт. Давайте посмотрим на дубли со стороны поисковика, он индексирует сайт держит эти страницы в выдаче , применяет к ним алгоритмы , в общем расходует ресурс на ненужные страницы . Логично оно ему надо? Нет! ладно десяток сайтов но ведь сайтов миллионы и дубли цифру страниц увеличивают как минимум в двое. Поэтому любой поисковик не любит дубли, если яндекс еще их терпит то гугл ненавидит . Иногда встречаюсь с мнением очередного умника который с умным видом доказывает что дубли это мелочи, в доказательство показывает сайт и присутствие дублей на нем. Колеги я видел многое и многих и скажу одно пока ваш дубль не попал в топ 10 вы герои , как только он туда попадет, просядет по меньшей мере запрос , в худшем случае весь сайт уйдет в небытие, но пока не столкнулись можно и погеройствовать. Почему я так говорю ? все просто, если в начальном индексе по некоторым причинам дубль не зафильтровался тогда попади он в топ 10 подвергается тщательному анализу . Так устроена работа поисковика , серьезный анализ страницы проводится когда она попадает в топ 10 , причина банально проста –экономия ресурса , алгоритм на топ жесткий и затраты ресурса намного больше чем в начальном распределении. Отсюда и плач и вопли на форумах, все было хорошо сайт рос но вчера все ушло в … и тд. и тп. Все потому что произошел анализ, на страницу по новому посмотрел бот . (Кстати давно заметил часто бывает прежде падение рост трафа, апнуло траф пошел и через день обвал вниз. ) Ну и немного черноты по теме дублей … В некоторых смс в силу их особенности при определенном сочетании параметров начинают плодиться дубли, это косяки самих смс, ну вот так они устроены(некоторые по крайней мере) Это значит что зная, эти тонкости можно нагенерить дублей пару сотен или тыс. легко. Чем это все чревато? Ну естественно тем что конкуренты могут вас заказать спецу(или сам спец если вы ему конкурент), и тот помудрив завалит ваш сайт дублями , в итоге позиции за 100 с вытекающими, на восстановление нужно месяц как минимум. Поэтому следите за количеством стр. в индексе всегда! При нереальном всплеске сразу реагируйте , причин появления немерянного количества стр. всего 2 первая вас взломали и подсунули дорвей , вторая дубли. Затянете, прохлопаете , считайте вы выпали на 3 месяца ато и на пол года , и ничего никому вы не докажете ах да пожаловаться платонам можно, только им на ваши проблемы… Это бизнес и если речь о клиенте или вопрос топ 5 или 4 тогда тут методы разные идут в ход , это совсем другой уровень где бродят акулы и мелкой рыбе(мелкой в том числе и знаниями) среди них очень тяжко выжить . Кто знает понимает , у кого текстовики с адсенсом не волнуйтесь вам это не грозит. Ловим дубли или как избавиться от дублей на сайте. Я не буду описывать конкретную смс так как это не имеет смысла , в том плане что каждый сайт это отдельная история . У каждого сайта разные плагины/компоненты/модули , разная структура адресов и тд и тп. Поэтому покажу общие принципы отлова дублей, поняв суть которых вы сможете крыть дубли на любом движке. Стандартные дубли К списку таких дублей я отношу : Дубль сайта www.site.ru / site.ru Если у вас открывается сайт с даби и без для пс это 2 разных сайта соответственно и в выдаче будут присутствовать страницы и с даби и без. Решается добавлением кода в .htaccess вашего сайта После строчки RewriteEngine On Пишем RewriteCond %{HTTP_HOST} ^www\. site \.ru$ [NC] RewriteRule ^(.*)$ http:// site.ru /$1 [R=301,L] В данном случае и в дальнейшем вместо site.ru ваш домен Дубли главной http:// site.ru http:// site.ru/ http:// site.ru/index http:// site.ru/index.html http:// site.ru/index.php Не все смс имеют проблемы с главной ,если у вас есть подобные дубли решение в виде кода в .htaccess вы без труда найдете в сети. Обратите внимание на строку с слешем и без ,в данный момент это уже не проблема но несколько лет назад с этим слешем приходилось что-то делать. Если вы столкнулись на своем проекте с таким видом дубля он также правится через редирект в .htaccess код найдете в сети. Дубли поиска Если сайт имеет поиск обратите внимание на страницы вывода результатов. Если используется поиск родной от смс в таком случае страницы вывода закрыты в стандартном роботсе. Если вы используете плагин или вставили левый поиск этот вопрос нужно исследовать на наличие дублей. Решение крыть в роботсе по маске Текстовая версия сайта На сайте выглядит обычно как значек принтера в углу где-то. По сути весь текст вашего материала то-есть еще один дубль. Решение крыть в роботсе по маске РСС лента Штука хорошая и полезная но требует настройки, если планируется использовать тогда настраиваем правильно краткий анонс . Если использовать нет нужды тогда кроем её в самом движке чтоб не было упоминаний и ссылок на неё на сайте. Также имейте в виду кроме движка, рсс могут использовать ваши установленные плагины и наворотят делов о которых вы и не догадываетесь. Не стандартные дубли К этому виду я отношу все то что плодиться само по себе, виной плагина, модуля, или неудачного расположения звезд на небе в общем по идее их быть не должно, а на практике они есть. Из всего выше описанного это пожалуй самая интересная и трудоёмкая часть. Для отлова таких дублей будем использовать выдачу яндекса и гугла ну и сам кабинет вебмастера без него не обойтись не имея спец инструментов. Ищем не стандартные дубли Первое что нужно сделать ! заварить много кофе без него у вас ничего не выйдет . Кофе это один из инструментов сеошника , заказчики имейте в виду … следите за акциями кофе если растет цена на кофе продвижение поднимется вслед за кофе )) Кофе есть идем дальше , второе это анализ структуры сайта ,а именно урлов . Что нам тут интересно ? первое это наличие в адресе приставок например Site.ru/ ishchem-dubli-stranits-na-sajte без приставки Site.ru/ ishchem-dubli-stranits-na-sajte. html Site.ru/ ishchem-dubli-stranits-na-sajte.php Последние 2 адреса имеют её , нам важно знать какая страница у нас правильная . Если весь сайт без приставок тогда страницы с ними будут дублями и их мы будем крыть . Подобно этому ведется работа если у сайта чпу нет ,а в адресе что-то типа category/ id23/page123 Мы изучили структуру и понимаем что есть в адресе родное сайту, а что не родное. Например в конце ссылки ну никак не может быть fs=& , а бывает – не родное дубль. Ок это надеюсь понятно , но бывает и так что родное становиться чужим . Например такие адреса: Site.ru/ ishchem-dubli-stranits-na-sajte правильный Site.ru/vsegda- ishchem-dubli правильный Бывает их клеит куда попало и даже сами метериалы клеяться в итоге видим такое: Site.ru/категория1/ ishchem-dubli-stranits-na-sajte /vsegda- ishchem-dubli Site.ru/категория1/категория2/ ishchem-dubli-stranits-na-sajte /vsegda- ishchem-dubli В общем вразнобой клеятся категории и материалы к ним . Так вот в такой склейке естественно адрес получается слишком длинным что на фоне остальных в списке будет отчетливо видно , советую при анализе урлов на неестественную длину адреса также обращать внимание. Структура ясна копаем дальше… Роль карты сайта в борьбе с дублями. Не раз мне приходилось спорить о роли карты для сайта, разные люди говорят по разному утверждают что ее сейчас не нужно если речь идет об индексации так как боты и так обойдут сайт. Возможно и так но когда она выступает в роли эталона количества страниц тут её роль критически важна. Сколько у вас страниц на сайте? Без карты вы никогда этого не узнаете точно, особенно если у вас проект,а не блог на 50 статей и каждую из них вы наизусть знаете так как писали лично. Другое дело когда страницы исчисляются 1000-ми тут без карты просто никак. Так в чем суть карты и причем тут дубли? Все просто , если в карте 721 страница значит в выдаче может быть меньше но никак не больше этой цифры. А если в выдаче мы видим цифру больше чем в карте сайта значит пора приступать к отлову дублей. Нам нужно сделать 3 простые вещи . 1. Скопировать адреса с карты сайта 2. Скопировать адреса с выдачи 3. Сравнить С первым проблем быть не должно , с выдачей думаю тоже, наверно можно выгрузить страницы которые в выдаче из вебмастера. Я не уверен так как эти процессы у меня решает софт 70% работы автоматизировано , но поскольку у вас его нет вы будете вынуждены работать ручками. Сравнить карту сайта и адреса которые в выдаче , правильные адреса в отдельный файл все что останется изучаем. Кстати с сравнением тоже нужно что-то придумывать ексель возможно поможет ну не знаю что-то наверное есть для этих целей. Ок допустим мы нашли странные страницы в их адресах есть непонятные параметры например Site.ru/sort/vsegda- ishchem-dubli Site.ru/poisk/vsegda- ishchem-dubli Site.ru/vsegda- ishchem-dubli =?cas Site.ru/vsegda- ishchem-dubli &find Операторы поиска, открываем возможно новую грань для себя использование операторов. Что такое операторы найдете в поиске. Я затрону только ту часть которая нам полезна. И так… у нас есть сайт на нем 200 стр и еще 200 дублей в таком случае нам операторы не нужы так как все страницы в том числе и дубли помещаются в выдаче. Но если у нас магазин и страниц в поиске 5000-8000 тыщ тогда в выдаче их не покажет. Выдача яндекса ограничена 100 страницами по 10 ссылок то-есть 1000 стр только можно с неё взять. Мы нашли такие непонятные штуки в наших адресах &find =?cas poisk sort Теперь нужно получить все страницы которые имеют в адресе например =?cas Как я выше сказал с самой выдачи их не взять так как она ограничена 1000-чей Для этой цели мы используем оператор site:www.site.ru inurl: =?cas где www.site.ru наш домен, а =?cas та часть которую мы ищем в адресах нашего сайта В итоге нам выдаст все страницы в которых встречается =?cas на нашем сайте , складываем их в отдельный файл .(опять-же их нужно парсить , в вашем случае копировать вручную в блокнотик) Проделываем такую процедуру со всеми непонятными приставками которые нашлись при первичном анализе. По такому принципу отслеживаем весь дубль который встречается в адресах, дальше проще… Желательно найти причину , того кто генерит эту всю гадость и устранить её. Если причина глубоко повязана с сайтом и удалять её не вариант, так как нарушается работоспособность сайта тогда переходим к роботсу. Кроем дубли через роботс , блокировка по маске. Крыть подобные дубли просто , в файле роботс.тхт нужно внести дерективу запрещающую индексировать страницы которые содержат например( =?cas) деректива выглядит так : Disallow: /*=?cas Тоже и с остальными приставками вместо =?cas подставляете другую. Это заблокирует все страницы содержащие =?cas их может быть и 10 и 1000 без разницы . Но имейте в виду только явные дубли с подобным несоответствием можно так блокировать, в остальных случаях где присутствует часть слова этот вариант не подходит так как заблокирует все страницы в адресе которых встретится слово. В таких случаях ищется другой вариант блока. Чистим выдачу от дублей . Когда с сайтом разобрались осталась еще часть работы ,а именно удалить дубли с выдачи. Для яндекса ! прежде удаление страниц из этой пс страницы должны быть закрыты в роботсе либо напрямую так: Disallow: /vsegda- ishchem-dubli &find или по маске как выше описано. В панели вебмастер и яндекса и гугла есть специальный инструмент для удаления страниц из выдачи . У яндекса тут: https://webmaster.yandex.ua/delurl.xml У гугла индекс гугл/удалить урл адреса Туда вводятся адреса дублей которые мы слаживали в отдельный блокнотик . Процедура нудная так как нужно скопировать/вставить и так по одному адресу … Если страниц не много не страшно , если больше 500х2 Я и Г= 1000 тогда смотреть в сторону автоматизации( роботы на то и есть чтоб делать нудные вещи и не думать)для думать есть мозг , заливаеш кофе и он думать и думать пока кофе не кончится)) В пределах 12 часов страницы вылетают из поиска , нужно еще 2-3 раза проделать подобную процедуру с самого начала , не все за раз увидиш что-то пропустиш . Да и в выдаче останется что-то все эти осколки опять собрать и снова удалить до победного. Скорее всего вам захочется упростить себе жизнь и найти вариант как побыстрее удалить много страниц из выдачи . И по накатанной … Вы спросите где-то на форуме вам скажут не парься все проще. Пишеш так /категория и всех дублей не стало . Не вздумайте пороть такую глупость , ведь дубли отличаются от оригинала как правило не многим , это значит что снеся раздел уйдут и материалы оригиналы вместе с дублями своими.( ну это так на вся случай , такое бывает) Удаление дублей из выдачи это точечая работа ,вариантов легких нет. Это глубокая тем в своей сути , если уйти в дебри каждого отдельного движка –еще глубже не говоря о каждом конкретном сайте . Но суть едина и она изложена , привередливости двига это уже по месту решаемо. Наверное чтоб писать подобное нужно составлять план статьи разделять добавлять и т.п Написал что вспомнил по ходу дела, думаю для новичков будет полезно, но если вы заметили нераскрытый момент или что-то непонятно – спрашивайте .