Открыть определенную страницу в robots

[secher90 42]

Сам написал, сам лайкнул , сам посмеялся

Короче выяснил в одиночку!!! 

Как оказалось приём достаточно прост а именно в robot.txt прописывается Disallow: /категория/подкатегоряи знак $ (Disallow: /категория/подкатегоря$) Знак $ означает конец запрета то есть, после этого знака все индексируется!!!

 

А есть знак после которого всё закрывается от индекса, а до него индексируется. Например - мой сайт.ru/категория/товар1. Хочу товар1 убрать из индекса, а саму страницу категории оставить. Вручную это сделать долго, т.к товаров дублей очень много. А вот запретить индекс страниц после категории, не исключая её саму был бы лёгкий выход из ситуации)