Jump to content

Тэги проиндексированы. Хорошо или плохо?


Recommended Posts

Подскажите такую вещь. У постов блога прописываю тэги. При нажатии на такой тэг открывается страница со списком превью всех постов связанных с ним. Адрес таких страниц site.ру/тэги/тэгномер1

site.ру/тэги/тэгномер2

site.ру/тэги/тэгномер3

и так далее.

Дело в том, что поиск проиндексировал все эти страницы.

Вопрос в том нужно ли закрывать в robots такие страницы от индексации?

Если не нужно, то будут они считаться дублями? По сути на них контент повторяется только в превью укороченном, который встречается только на главной странице и на странице категории с превью постов. Но получается что частично встречается, так как тэг может формировать страницу из постов многих категорий.

 

Link to post
Share on other sites

Есть вопрос? Задай его профессиональным веб-мастерам, SEO и другим специалистам!

http://naturaldiscovery.ru/categories/goroda-i-strany

http://naturaldiscovery.ru/tags/boston

Ну вот в чем они дубли? Title разные. Разве что заголовк и один абзац. Так ведь на странице тэга будет потом еще масса превью с других категорий.

Link to post
Share on other sites
34 минуты назад, Brandon Lang сказал:

http://naturaldiscovery.ru/categories/goroda-i-strany

http://naturaldiscovery.ru/tags/boston

Ну вот в чем они дубли? Title разные. Разве что заголовк и один абзац. Так ведь на странице тэга будет потом еще масса превью с других категорий.

Только ваша вторая страница мало-кому не интересна будет в выдаче, поэтому поисковик её будет показывать на 100+ позиции по запросу "бостон". И правильно, ведь она не дает ответы на самые популярные запросы, на которые люди хотят получить ответ, когда вводят слово "бостон" в поисковой выдаче:

  • бостон селтикс
  • бостон чикаго
  • в какой стране находится бостон
  • где бостон на карте
  • культура бостона
  • население бостона и т.д.

С точки зрения поисковой системы - эта страница мусор. Мусор, который вы заставляете поисковую систему переиндексировать каждые несколько дней. Поисковик делает это в надежде, что на странице появится новая информация. Но, её там не появится ...

Логично, что множество такого мусора на сайте вызовет негативное отношения поисковика ко всему сайту.

Поэтому страницы тегов выгоднее закрывать от индексации. Хороший вариант, поставить тег noindex,follow - все проблемы будут решены.

Link to post
Share on other sites
Только что, Brandon Lang сказал:

А не подскажите инструмент, который может дубли найти все?

Xenu подойдет? Или online может есть?

У меня Netpeak Spider, но он сейчас платный. Попробуйте скачать бесплатную двухнедельную версию.

Link to post
Share on other sites

Нашел другую программу compaser.

Появился еще один вопрос. Вот программа мне нашла такие страницы, которые попадают в поиск яндекса, но по сути они там нахрен не нужны:

http://naturaldiscovery.ru/component/users/?view=login&return=L2Jlc3BsYXRuaWUtZWtza3Vyc2lpLXBvLXJpbXU=&Itemid=145

http://naturaldiscovery.ru/component/users/?view=reset

http://naturaldiscovery.ru/component/mailto/?tmpl=component&template=g5_hydrogen&link=86e8373d87ce7f05a15d48fca5009a81f4986b71

http://naturaldiscovery.ru/component/users/?view=remind

Вот страницы с тэгами я закрыл так Disallow: /*tags

А как мне такие страницы закрыть от индексации? Всю директорию компонент наверное не правильно будет закрывать....

Link to post
Share on other sites
В 22.04.2017 в 9:43 AM, Brandon Lang сказал:

Подскажите такую вещь. У постов блога прописываю тэги. При нажатии на такой тэг открывается страница со списком превью всех постов связанных с ним. Адрес таких страниц site.ру/тэги/тэгномер1

Дело в том, что поиск проиндексировал все эти страницы.

Вопрос в том нужно ли закрывать в robots такие страницы от индексации?

Если не нужно, то будут они считаться дублями? По сути на них контент повторяется только в превью укороченном, который встречается только на главной странице и на странице категории с превью постов. Но получается что частично встречается, так как тэг может формировать страницу из постов многих категорий.

 

Посмотрите, что у вышестоящих конкурентов в роботс. Я посмотрел и закрыл теги

.

Link to post
Share on other sites
1 час назад, Brandon Lang сказал:

Или правильно так делать?

Disallow:  /*component/users

Disallow:  /*component/mailto

Как вложенные директории закрывать, чтобы родительская не закрылась?

Изучайте _https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml?lang=ru

По тому, что вы указали Disallow: /component*

Но это только по вашим урлам

Погуглите типовой для вашей cms

Link to post
Share on other sites
8 часов назад, petroff сказал:

Изучайте _https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml?lang=ru

По тому, что вы указали Disallow: /component*

Но это только по вашим урлам

Погуглите типовой для вашей cms

Ну в типовом для Joomla  component не закрыт от индексации.

Посмотрел мануал яндекса по этому вопросу, получается надо писать так:

Disallow:  /*component/users

Disallow:  /*component/mailto

 

Тогда закроются подкатегории, а сама категория будет доступна. Правильно?

Link to post
Share on other sites
5 часов назад, Brandon Lang сказал:

Ну в типовом для Joomla  component не закрыт от индексации.

Посмотрел мануал яндекса по этому вопросу, получается надо писать так:

Disallow:  /*component/users

Disallow:  /*component/mailto

 

Тогда закроются подкатегории, а сама категория будет доступна. Правильно?

Какие категории? На сколько я понимаю, это директория компонентов и ее нужно закрывать полностью

_http://joomlaforum.ru/index.php?PHPSESSID=a67439f277082dc782b39b4697639873&/topic,115926.0.html

_http://joomlaforum.ru/index.php/topic,193446.0.html

Link to post
Share on other sites

_http://naturaldiscovery.ru/goroda-i-strany/otdykh-v-rossii-kuda-poekhat-i-kak-sekonomit?tmpl=component&print=1&format=print

как правильно запретить такую страницу к индексации?  Disallow: /*print

 

_http://naturaldiscovery.ru/index.php/blogger/brandonlang

Disallow: /*blogger  такое правило стоит, но он все равно проиндексировал страницу. И откуда-то index.php взялся.

 

Есть ли какие-то инструменты, которые проверяют правильность запретов и разрешений robots? Ну чтобы я мог проверить что именно закрылось, а что открыто.

Link to post
Share on other sites
1 час назад, Brandon Lang сказал:

Есть ли какие-то инструменты, которые проверяют правильность запретов и разрешений robots?

Проверка каждого урла в "проверке ответа сервера" в вебмастере Яндекс. В гугле тоже наверное можно

Link to post
Share on other sites

Так интересно получается.

Яндекс в поиск кинул такую страницу h___ttp://naturaldiscovery.ru/component/mailto/?tmpl=component&template=g5_hydrogen&link=86e8373d87ce7f05a15d48fca5009a81f4986b71

В robots запрещена к индексации Disallow: /components/

Проблема в том, что на сайте в корне вообще нет директории component  http://c2n.me/3JXicW4

Как такое может быть? )

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...