Открыть определенную страницу в robots

[orion 34]

Добрый день, подскажите пожалуйста, у меня сайт полностью закрыт от индексации тегом в роботс, мне так нужно. 

 

в роботс у меня вписано только это: 

User-agent: *
Disallow: /
Allow: /$

 

И мне нужно добавить две ссылки что бы только они индексировались. Нужно только 2 ссылки доступные для поисковых систем.

как мне это сделать ? Если можно с примером

 

[olimpoks 8]

Как вы себе это представляете ?   Если уж закрыли весь сайт - то что вы хотите .....

[cmsony 17]

Файл роботса используется только для закрытия от индексации, но не как не для открытия... Если вы закрываете весь сайт, то он будет закрыт весь. Если вам нужно чтобы несколько страниц индексировалось, то нужно открыть сайт, а закрывать то что не хотите чтобы индексировалось. По другому никак.... 

[roman48 57]

привет.http://robotstxt.org.ru/

[Shnapik 108]

Allow - открыть к индексации, Disallow - закрыть, думаю додумать сами сможете, что вам нужно вставить. Дам еще подсказку, нужный параметр и ссылка...

[orion 34]

Эх. Печально. Почему ж такое не учли, закрыть от индексации весь сайт кроме определенных страниц.

Просто каждую ссылку закрыть от индекса это очень много работы. Особенно если сайтов 50 шт.

[orion 34]

Allow - открыть к индексации, Disallow - закрыть, думаю додумать сами сможете, что вам нужно вставить. Дам еще подсказку, нужный параметр и ссылка...

Пример был бы неплох

[Transformer 442]

Пример был бы неплох

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#allow-disallow

[Tobol 141]

Allow: /catalog/auto

Например. Без разницы, что весь сайт закрыт от индексации, добавьте Allow: / с определённым адресом и эта страница проиндексируется

[Mpro5 8]

 

Добрый день, подскажите пожалуйста, у меня сайт полностью закрыт от индексации тегом в роботс, мне так нужно. 

 

в роботс у меня вписано только это: 

User-agent: *
Disallow: /
Allow: /$

 

И мне нужно добавить две ссылки что бы только они индексировались. Нужно только 2 ссылки доступные для поисковых систем.

как мне это сделать ? Если можно с примером

 

Можно так попробовать сделать для файла site.ru/folder/file.php

Allow: /folder/file*

[Crack_key 48]

Так должно работать.

 

User-agent: Yandex (Googlebot или *)

 

Disallow: /

Allow: /page1

Allow: /page2

[rohanaro 58]

только allow ставьте выше чем disallow
(сначала открываете доступ для определенных страниц, потом закрываете для всех остальных)


User-agent: *
Allow: /page/index.html
Disallow: /

 

[orion 34]

Попробую ваш вариант. Спасибо.

А почему писали выше что нельзя сделать как я хочу. хм

[Mpro5 8]

только allow ставьте выше чем disallow

(сначала открываете доступ для определенных страниц, потом закрываете для всех остальных)

 

 

User-agent: *

Allow: /page/index.html

Disallow: /

 

 

Разве есть разница, что писать выше, а что ниже?

[msv 5]

Что бы не создавать лишние темы,  напишу сюда. ЛЮДИ ПОДСКАЖИТЕ, в роботсе туповат.

Как правильно закрыть 2 страницы.

отзывы о товаре

вид ссылок такой, пример,

сайт.ру/категория/название товавар/reviews/

 

Правильно ли я делал 

Disallow: /*reviews

или вот так надо Disallow: */reviews*

 

и второе у меня в категориях есть кнопка показать все товары  из категории, ссылка выглядит примерно так

сайт.ру/категория/название/all/

делал так Disallow: */all/

Или как-то по-другому нужно делать

 

ПОМОГИТЕ ПЛИЗ

[msv 5]

Добавлю, стоит ли страницы у категории закрывать от индексации. Например в категории 20 страниц

[orion 34]

только allow ставьте выше чем disallow

(сначала открываете доступ для определенных страниц, потом закрываете для всех остальных)

 

 

User-agent: *

Allow: /page/index.html

Disallow: /

 

 

 

Данный способ не помог. Сайт вообще закрылся, даже метатеги скрылись.

А нужно было сделать главную + пару определенных страниц.

гугл вебмастер пишет что на сайте ошибки и тп..

[vituson 583]

Данный способ не помог. Сайт вообще закрылся, даже метатеги скрылись.

А нужно было сделать главную + пару определенных страниц.

гугл вебмастер пишет что на сайте ошибки и тп..

Файл роботс-тхт предназначен для закрытия страниц от индексации, поэтом директиву Allow лучше не использовать. Нужно грамотно расписать Disallow.

[orion 34]

Файл роботс-тхт предназначен для закрытия страниц от индексации, поэтом директиву Allow лучше не использовать. Нужно грамотно расписать Disallow.

 

Может кто то ясно объяснить на примере.

есть сайт, есть на нем статьи. 

сайт закрыт от индексации весь, в индексе только главная.

как мне сделать что б открыты к индексации были определенные ссылки, или категории, мне не нужно что б статьи были открыты для индексирования.

система opencart.

 

ну или наоборот

 

закрыть от индексации всю категорию с статьями, а остальные ссылки пусть будут открыты для индексирования

[WBM-PM 186]

Уважаемый, ТС Вам уже тут правильно сказали, нужно "грамотно расписать Disallow"

 

Необходимо закрывать все директории, которые должны быть закрыты, т.е. если у вас в папке сайта 10-20-40 поддиректорий, то придется писать 10-20-40 строчек Disallow.

Далее в Allow укажите путь от корня на те ссылки, которые необходимы.

Помоему именно так будет верно.

 

Напртмер:

 

User-agent: *
Disallow: /папка1/

Disallow: /папка10/

Disallow: /папка100/

Disallow: /папка1000/

Allow: /путь/ссылка1

Allow: /путь/ссылка2

[orion 34]

Уважаемый, ТС Вам уже тут правильно сказали, нужно "грамотно расписать Disallow"

 

Необходимо закрывать все директории, которые должны быть закрыты, т.е. если у вас в папке сайта 10-20-40 поддиректорий, то придется писать 10-20-40 строчек Disallow.

Далее в Allow укажите путь от корня на те ссылки, которые необходимы.

Помоему именно так будет верно.

 

Напртмер:

 

User-agent: *

Disallow: /папка1/

Disallow: /папка10/

Disallow: /папка100/

Disallow: /папка1000/

Allow: /путь/ссылка1

Allow: /путь/ссылка2

 

 

мой пример

у меня сейчас так стоит 

User-agent: *

Disallow: /

Allow: /$

 

в индексе только 1 страница и это главная страница сайта.

хочу что бы было Главная страница и еще например одна страница пусть это будет статья "Как завязывать шнурки" =)

 

в итоге я делаю так: 

 

User-agent: *

Disallow: /

Allow: /$

Allow: http://shnurok.ru/article/kak-zavyazuvat-shnurki.html

 

Верно ? 

[orion 34]

Уважаемый, ТС Вам уже тут правильно сказали, нужно "грамотно расписать Disallow"

 

Необходимо закрывать все директории, которые должны быть закрыты, т.е. если у вас в папке сайта 10-20-40 поддиректорий, то придется писать 10-20-40 строчек Disallow.

Далее в Allow укажите путь от корня на те ссылки, которые необходимы.

Помоему именно так будет верно.

 

Напртмер:

 

User-agent: *

Disallow: /папка1/

Disallow: /папка10/

Disallow: /папка100/

Disallow: /папка1000/

Allow: /путь/ссылка1

Allow: /путь/ссылка2

 

а вообще я так пробовал сделать : 

User-agent: *

Allow: /page/index.html

Disallow: /

 

ничего хорошего не вышло. сайт вообще закрылся от миро сего, и гугл вебмастер ругался что на сайте появилась ошибка.  да и страница Allow: /page/index.html похоже тоже осталась закрытой

[Fragmatic1992 1]

В продолжение темы robot txt  да простит меня автор , но думаю будет кому то тоже полезно, так что спрошу.

 

Имеется структура сайта  Домен.ру/категория/подкатегория/материал

 

Вопрос!!!  Как закрыть от индексации подкатегорию , но не закрывать материал в этих подкатегориях?

Отдельно закрывать подкатегории и делать исключение материала по штучно не выход так как, материала слишком много.

[Fragmatic1992 1]

В продолжение темы robot txt  да простит меня автор , но думаю будет кому то тоже полезно, так что спрошу.

 

Имеется структура сайта  Домен.ру/категория/подкатегория/материал

 

Вопрос!!!  Как закрыть от индексации подкатегорию , но не закрывать материал в этих подкатегориях?

Отдельно закрывать подкатегории и делать исключение материала по штучно не выход так как, материала слишком много.

Забыл добавить!! движок - joomla

[Fragmatic1992 1]

В продолжение темы robot txt  да простит меня автор , но думаю будет кому то тоже полезно, так что спрошу.

 

Имеется структура сайта  Домен.ру/категория/подкатегория/материал

 

Вопрос!!!  Как закрыть от индексации подкатегорию , но не закрывать материал в этих подкатегориях?

Отдельно закрывать подкатегории и делать исключение материала по штучно не выход так как, материала слишком много.

 

Сам написал, сам лайкнул , сам посмеялся

Короче выяснил в одиночку!!! 

Как оказалось приём достаточно прост а именно в robot.txt прописывается Disallow: /категория/подкатегоряи знак $ (Disallow: /категория/подкатегоря$) Знак $ означает конец запрета то есть, после этого знака все индексируется!!!