Brandon Lang

Тэги проиндексированы. Хорошо или плохо?

19 posts in this topic

Подскажите такую вещь. У постов блога прописываю тэги. При нажатии на такой тэг открывается страница со списком превью всех постов связанных с ним. Адрес таких страниц site.ру/тэги/тэгномер1

site.ру/тэги/тэгномер2

site.ру/тэги/тэгномер3

и так далее.

Дело в том, что поиск проиндексировал все эти страницы.

Вопрос в том нужно ли закрывать в robots такие страницы от индексации?

Если не нужно, то будут они считаться дублями? По сути на них контент повторяется только в превью укороченном, который встречается только на главной странице и на странице категории с превью постов. Но получается что частично встречается, так как тэг может формировать страницу из постов многих категорий.

 

Share this post


Link to post
Share on other sites

Я у себя закрыл теги от индексации, а еще позакрывал архивы и прочую муть. Оставил только главную, главные страницы разделов и статьи.

Share this post


Link to post
Share on other sites

http://naturaldiscovery.ru/categories/goroda-i-strany

http://naturaldiscovery.ru/tags/boston

Ну вот в чем они дубли? Title разные. Разве что заголовк и один абзац. Так ведь на странице тэга будет потом еще масса превью с других категорий.

Share this post


Link to post
Share on other sites
34 минуты назад, Brandon Lang сказал:

http://naturaldiscovery.ru/categories/goroda-i-strany

http://naturaldiscovery.ru/tags/boston

Ну вот в чем они дубли? Title разные. Разве что заголовк и один абзац. Так ведь на странице тэга будет потом еще масса превью с других категорий.

Только ваша вторая страница мало-кому не интересна будет в выдаче, поэтому поисковик её будет показывать на 100+ позиции по запросу "бостон". И правильно, ведь она не дает ответы на самые популярные запросы, на которые люди хотят получить ответ, когда вводят слово "бостон" в поисковой выдаче:

  • бостон селтикс
  • бостон чикаго
  • в какой стране находится бостон
  • где бостон на карте
  • культура бостона
  • население бостона и т.д.

С точки зрения поисковой системы - эта страница мусор. Мусор, который вы заставляете поисковую систему переиндексировать каждые несколько дней. Поисковик делает это в надежде, что на странице появится новая информация. Но, её там не появится ...

Логично, что множество такого мусора на сайте вызовет негативное отношения поисковика ко всему сайту.

Поэтому страницы тегов выгоднее закрывать от индексации. Хороший вариант, поставить тег noindex,follow - все проблемы будут решены.

ToneR and tvskit like this

Share this post


Link to post
Share on other sites

Я бы также добавил в robots:

Disallow: *&print=*

Disallow: /search/*

Disallow: /component/users/*

И еще у вас дубли со слешем:

naturaldiscovery.ru/kontakti/

naturaldiscovery.ru/kontakti

 

Share this post


Link to post
Share on other sites

А не подскажите инструмент, который может дубли найти все?

Xenu подойдет? Или online может есть?

Share this post


Link to post
Share on other sites
Только что, Brandon Lang сказал:

А не подскажите инструмент, который может дубли найти все?

Xenu подойдет? Или online может есть?

У меня Netpeak Spider, но он сейчас платный. Попробуйте скачать бесплатную двухнедельную версию.

Share this post


Link to post
Share on other sites

Нашел другую программу compaser.

Появился еще один вопрос. Вот программа мне нашла такие страницы, которые попадают в поиск яндекса, но по сути они там нахрен не нужны:

http://naturaldiscovery.ru/component/users/?view=login&return=L2Jlc3BsYXRuaWUtZWtza3Vyc2lpLXBvLXJpbXU=&Itemid=145

http://naturaldiscovery.ru/component/users/?view=reset

http://naturaldiscovery.ru/component/mailto/?tmpl=component&template=g5_hydrogen&link=86e8373d87ce7f05a15d48fca5009a81f4986b71

http://naturaldiscovery.ru/component/users/?view=remind

Вот страницы с тэгами я закрыл так Disallow: /*tags

А как мне такие страницы закрыть от индексации? Всю директорию компонент наверное не правильно будет закрывать....

Share this post


Link to post
Share on other sites

Или правильно так делать?

Disallow:  /*component/users

Disallow:  /*component/mailto

Как вложенные директории закрывать, чтобы родительская не закрылась?

Share this post


Link to post
Share on other sites
В 22.04.2017 в 9:43 AM, Brandon Lang сказал:

Подскажите такую вещь. У постов блога прописываю тэги. При нажатии на такой тэг открывается страница со списком превью всех постов связанных с ним. Адрес таких страниц site.ру/тэги/тэгномер1

Дело в том, что поиск проиндексировал все эти страницы.

Вопрос в том нужно ли закрывать в robots такие страницы от индексации?

Если не нужно, то будут они считаться дублями? По сути на них контент повторяется только в превью укороченном, который встречается только на главной странице и на странице категории с превью постов. Но получается что частично встречается, так как тэг может формировать страницу из постов многих категорий.

 

Посмотрите, что у вышестоящих конкурентов в роботс. Я посмотрел и закрыл теги

.

Share this post


Link to post
Share on other sites
1 час назад, Brandon Lang сказал:

Или правильно так делать?

Disallow:  /*component/users

Disallow:  /*component/mailto

Как вложенные директории закрывать, чтобы родительская не закрылась?

Изучайте _https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml?lang=ru

По тому, что вы указали Disallow: /component*

Но это только по вашим урлам

Погуглите типовой для вашей cms

Share this post


Link to post
Share on other sites
8 часов назад, petroff сказал:

Изучайте _https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml?lang=ru

По тому, что вы указали Disallow: /component*

Но это только по вашим урлам

Погуглите типовой для вашей cms

Ну в типовом для Joomla  component не закрыт от индексации.

Посмотрел мануал яндекса по этому вопросу, получается надо писать так:

Disallow:  /*component/users

Disallow:  /*component/mailto

 

Тогда закроются подкатегории, а сама категория будет доступна. Правильно?

Share this post


Link to post
Share on other sites
5 часов назад, Brandon Lang сказал:

Ну в типовом для Joomla  component не закрыт от индексации.

Посмотрел мануал яндекса по этому вопросу, получается надо писать так:

Disallow:  /*component/users

Disallow:  /*component/mailto

 

Тогда закроются подкатегории, а сама категория будет доступна. Правильно?

Какие категории? На сколько я понимаю, это директория компонентов и ее нужно закрывать полностью

_http://joomlaforum.ru/index.php?PHPSESSID=a67439f277082dc782b39b4697639873&/topic,115926.0.html

_http://joomlaforum.ru/index.php/topic,193446.0.html

Share this post


Link to post
Share on other sites

_http://naturaldiscovery.ru/goroda-i-strany/otdykh-v-rossii-kuda-poekhat-i-kak-sekonomit?tmpl=component&print=1&format=print

как правильно запретить такую страницу к индексации?  Disallow: /*print

 

_http://naturaldiscovery.ru/index.php/blogger/brandonlang

Disallow: /*blogger  такое правило стоит, но он все равно проиндексировал страницу. И откуда-то index.php взялся.

 

Есть ли какие-то инструменты, которые проверяют правильность запретов и разрешений robots? Ну чтобы я мог проверить что именно закрылось, а что открыто.

Share this post


Link to post
Share on other sites
1 час назад, Brandon Lang сказал:

Есть ли какие-то инструменты, которые проверяют правильность запретов и разрешений robots?

Проверка каждого урла в "проверке ответа сервера" в вебмастере Яндекс. В гугле тоже наверное можно

Share this post


Link to post
Share on other sites

Так интересно получается.

Яндекс в поиск кинул такую страницу h___ttp://naturaldiscovery.ru/component/mailto/?tmpl=component&template=g5_hydrogen&link=86e8373d87ce7f05a15d48fca5009a81f4986b71

В robots запрещена к индексации Disallow: /components/

Проблема в том, что на сайте в корне вообще нет директории component  http://c2n.me/3JXicW4

Как такое может быть? )

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now

  • Recently Browsing   0 members

    No registered users viewing this page.