Jump to content
Sign in to follow this  
alexanderk

Подскажите по robots.txt

Recommended Posts

Здравствуйте. Помогите пожалуйста настроить robots.txt.

Нужно закрыть от индексации все материалы, находящиеся по адресам /каталог/категория1/материалы , /каталог/категория2/материалы , то есть таких категорий почти 500 и все их прописывать сложно.

 

Пробовал так:

Disallow: /каталог/*/*  

и другие подобные варианты, но получалось, что данные материалы закрывались от индексации, но также закрывались от индексации и категории, а нужно закрыть только материалы. Подскажите пожалуйста как можно закрыть только материалы.

Share this post


Link to post
Share on other sites

Спасибо за ответы.

@Arty220, на сайте не используется .html

@WQP,  К сожалению таким способом получается:

каталог/категория/материалы - запрещен к индексации 

каталог/категория/запрещен к индексации

каталог/категория - не запрещен

То есть опять же категории, как они сейчас в индексе  "каталог/категория/" закрываются от индексации.

Может быть есть еще варианты?

Share this post


Link to post
Share on other sites

каталог/категория/запрещен к индексации

каталог/категория - не запрещен

Избавьтесь от дублей

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...