Jump to content

Recommended Posts

Всем привет.

Вопрос знатокам. Настраивал сайт ,и по глупому совету, в момент разработки сайта открыл robot.txt.

На то время, в нем не были прописаны запреты на фильтры

В итоге в ПС Google попало около 4 тис страниц, хотя по факту их 135.

Потом разобрался, прописал правильно robot.txt ,ввел в запрет все  служебные папки и все фильтры

В ручном режиме, через Google Search Console удалил порядка 2,5 тис страниц.

Индексированные страницы почистились.

Щас прошла новая индексация, и на одном, ненужном каталоге (производители) опять появилось 200 проиндексированных страниц, с фильтрами , которые запрещены в robot.txt

Вопрос:

Это Гугл игнорирует запреты робот.тхт и индексирует эти страницы или это возможно он их где-то с кеша достает. Т.к. после ручного удаления, в данном каталоге не было ниодной проиндексированной страницы, а щас опять 200 страниц, при этом URL такие, которых я раньше не удалял. (проверял командом site:http://сайт.com.ua/brands/

Откуда они взялись, если в robot.txt они закрыты.

Share this post


Link to post
Share on other sites

Собственно, когда в гугле пишет вот такое (см. скрин) нscreen.JPGе значит ли это, что кроме этих страниц что он показал, еще в кеше есть 197шт. которые потом вылезут?

Share this post


Link to post
Share on other sites

Это значит, что у вас много страниц с дублирующимся контентом (якобы бесполезным). Обратите внимание на последние два результата в выдаче (одинаковые title и анонс)

Share this post


Link to post
Share on other sites
3 часа назад, files сказал:

Это значит, что у вас много страниц с дублирующимся контентом (якобы бесполезным). Обратите внимание на последние два результата в выдаче (одинаковые title и анонс)

Да, но там хоть URL нормальные, без фильтров. на данный момент для таких страниц настроена опция rel="canonical" , т.е. контент одинаковый, но уникальная страница 1на.

Или эти страницы тоже нужно отлавливать и удалять с индекса, несмотря на то что на них rel="canonical" щас прописано уже?

Share this post


Link to post
Share on other sites

А как мне почистить кеш ПС с этими бесполезными страницами , как их посмотреть, что бы удалить ?

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...