запретить индексировать #!

[Transformer 442]

приветствую, есть URL вида 

 

 

/store/#!/Грунты-и-субстраты/c/4322197/offset=0&sort=priceAsc

 

 

нужно /store/ разрешить индексировать, а все что дальше запретить

 

пробовал:

 

allow: /store/

disallow: /store/*

 

то почему-то не подходит т.к. закрывается и сама страница /store/

 

пробовал так же

 

allow: /store/

disallow: /store/*/

 

и 

 

allow: /store/

disallow: /store/#!/

 

 

тоже закрывается и основная страница /store/

 

как правильно сделать? 

[K-Web 1]

В спецификации robots.txt нет директивы Allow (противоречивую директиву поддерживает только бот ПС Яндекс), инструкции со звездочкой (Disallow: *.gif) так-же нет. А символ # служит для объявления комментария

 

Если у вас индексируются ссылки, содержащие #, значит вы непосредственно ссылаетесь на них. Можно попробовать закрыть их от индексации добавив атрибут rel="nofollow" к тегу <A>:

<a rel="nofollow" href="/store/#!/Грунты-и-субстраты/c/4322197/offset=0&sort=priceAsc"></a>

Но не факт. https://help.yandex.ru/webmaster/controlling-robot/html.xml#nofollow

 

Мы избавились от такого мусора в индексе ПС с помощью канонических адресов, пожалуй это единственный и правильный способ. https://help.yandex.ru/webmaster/controlling-robot/html.xml#canonical

[Transformer 442]

спасибо уже разобрался

 

ну вобщем-то это не мусор, а страницы товара Ecwid (SaaS магазин)

http://optflowers.com/store/#!/Горшечные-растения/c/6865351/offset=0&sort=priceAsc

 

подгружаемые javaскриптом с SaaS сервера

 

но он настолько кривой, там нет возможности прописывать тайтлы и дескрипшены + еще 100500 ограничений

 

поэтому решили эти товары скрыть, а вот эта штука  #! означает начало ajax содержимого

 

скрыл индексацию вот так, 

Disallow: /store/?_escaped_fragment_=*

сами странички HTML которые геренируются ajaxом

[Transformer 442]

директива allow кстати есть, и прекрасно работает