orion

Открыть определенную страницу в robots

26 posts in this topic

Добрый день, подскажите пожалуйста, у меня сайт полностью закрыт от индексации тегом в роботс, мне так нужно. 

 

в роботс у меня вписано только это: 

User-agent: *
Disallow: /
Allow: /$

 

И мне нужно добавить две ссылки что бы только они индексировались. Нужно только 2 ссылки доступные для поисковых систем.
как мне это сделать ? Если можно с примером
 

Share this post


Link to post
Share on other sites

Как вы себе это представляете ?  :D  Если уж закрыли весь сайт - то что вы хотите .....

Share this post


Link to post
Share on other sites

Файл роботса используется только для закрытия от индексации, но не как не для открытия... Если вы закрываете весь сайт, то он будет закрыт весь. Если вам нужно чтобы несколько страниц индексировалось, то нужно открыть сайт, а закрывать то что не хотите чтобы индексировалось. По другому никак.... 

Share this post


Link to post
Share on other sites

Allow - открыть к индексации, Disallow - закрыть, думаю додумать сами сможете, что вам нужно вставить. Дам еще подсказку, нужный параметр и ссылка...

orion likes this

Share this post


Link to post
Share on other sites

Эх. Печально. Почему ж такое не учли, закрыть от индексации весь сайт кроме определенных страниц.

Просто каждую ссылку закрыть от индекса это очень много работы. Особенно если сайтов 50 шт.

Share this post


Link to post
Share on other sites

Allow - открыть к индексации, Disallow - закрыть, думаю додумать сами сможете, что вам нужно вставить. Дам еще подсказку, нужный параметр и ссылка...

Пример был бы неплох

Share this post


Link to post
Share on other sites

Allow: /catalog/auto

Например. Без разницы, что весь сайт закрыт от индексации, добавьте Allow: / с определённым адресом и эта страница проиндексируется

Share this post


Link to post
Share on other sites

 

Добрый день, подскажите пожалуйста, у меня сайт полностью закрыт от индексации тегом в роботс, мне так нужно. 

 

в роботс у меня вписано только это: 

User-agent: *
Disallow: /
Allow: /$

 

И мне нужно добавить две ссылки что бы только они индексировались. Нужно только 2 ссылки доступные для поисковых систем.
как мне это сделать ? Если можно с примером

 

Можно так попробовать сделать для файла site.ru/folder/file.php

Allow: /folder/file*

Share this post


Link to post
Share on other sites

Так должно работать.

 

User-agent: Yandex (Googlebot или *)

 

Disallow: /

Allow: /page1

Allow: /page2

Share this post


Link to post
Share on other sites

только allow ставьте выше чем disallow
(сначала открываете доступ для определенных страниц, потом закрываете для всех остальных)


User-agent: *
Allow: /page/index.html
Disallow: /

 

Share this post


Link to post
Share on other sites

Попробую ваш вариант. Спасибо.

А почему писали выше что нельзя сделать как я хочу. хм

Share this post


Link to post
Share on other sites

только allow ставьте выше чем disallow

(сначала открываете доступ для определенных страниц, потом закрываете для всех остальных)

 

 

User-agent: *

Allow: /page/index.html

Disallow: /

 

 

Разве есть разница, что писать выше, а что ниже?

Seoplus likes this

Share this post


Link to post
Share on other sites

Что бы не создавать лишние темы,  напишу сюда. ЛЮДИ ПОДСКАЖИТЕ, в роботсе туповат.

Как правильно закрыть 2 страницы.

отзывы о товаре

вид ссылок такой, пример,

сайт.ру/категория/название товавар/reviews/

 

Правильно ли я делал 

Disallow: /*reviews

или вот так надо Disallow: */reviews*

 

и второе у меня в категориях есть кнопка показать все товары  из категории, ссылка выглядит примерно так

сайт.ру/категория/название/all/

делал так Disallow: */all/

Или как-то по-другому нужно делать

 

ПОМОГИТЕ ПЛИЗ

Share this post


Link to post
Share on other sites

Добавлю, стоит ли страницы у категории закрывать от индексации. Например в категории 20 страниц

Share this post


Link to post
Share on other sites

только allow ставьте выше чем disallow

(сначала открываете доступ для определенных страниц, потом закрываете для всех остальных)

 

 

User-agent: *

Allow: /page/index.html

Disallow: /

 

 

 

Данный способ не помог. Сайт вообще закрылся, даже метатеги скрылись.

А нужно было сделать главную + пару определенных страниц.

гугл вебмастер пишет что на сайте ошибки и тп..

Share this post


Link to post
Share on other sites

Данный способ не помог. Сайт вообще закрылся, даже метатеги скрылись.

А нужно было сделать главную + пару определенных страниц.

гугл вебмастер пишет что на сайте ошибки и тп..

Файл роботс-тхт предназначен для закрытия страниц от индексации, поэтом директиву Allow лучше не использовать. Нужно грамотно расписать Disallow.

Share this post


Link to post
Share on other sites

Файл роботс-тхт предназначен для закрытия страниц от индексации, поэтом директиву Allow лучше не использовать. Нужно грамотно расписать Disallow.

 

Может кто то ясно объяснить на примере.

есть сайт, есть на нем статьи. 

сайт закрыт от индексации весь, в индексе только главная.

как мне сделать что б открыты к индексации были определенные ссылки, или категории, мне не нужно что б статьи были открыты для индексирования.

система opencart.

 

ну или наоборот

 

закрыть от индексации всю категорию с статьями, а остальные ссылки пусть будут открыты для индексирования

Share this post


Link to post
Share on other sites

Уважаемый, ТС Вам уже тут правильно сказали, нужно "грамотно расписать Disallow"

 

Необходимо закрывать все директории, которые должны быть закрыты, т.е. если у вас в папке сайта 10-20-40 поддиректорий, то придется писать 10-20-40 строчек Disallow.

Далее в Allow укажите путь от корня на те ссылки, которые необходимы.

Помоему именно так будет верно.

 

Напртмер:

 

User-agent: *
Disallow: /папка1/

Disallow: /папка10/

Disallow: /папка100/

Disallow: /папка1000/

Allow: /путь/ссылка1

Allow: /путь/ссылка2

Share this post


Link to post
Share on other sites

Уважаемый, ТС Вам уже тут правильно сказали, нужно "грамотно расписать Disallow"

 

Необходимо закрывать все директории, которые должны быть закрыты, т.е. если у вас в папке сайта 10-20-40 поддиректорий, то придется писать 10-20-40 строчек Disallow.

Далее в Allow укажите путь от корня на те ссылки, которые необходимы.

Помоему именно так будет верно.

 

Напртмер:

 

User-agent: *

Disallow: /папка1/

Disallow: /папка10/

Disallow: /папка100/

Disallow: /папка1000/

Allow: /путь/ссылка1

Allow: /путь/ссылка2

 

 

мой пример

у меня сейчас так стоит 

User-agent: *
Disallow: /
Allow: /$
 
в индексе только 1 страница и это главная страница сайта.
хочу что бы было Главная страница и еще например одна страница пусть это будет статья "Как завязывать шнурки" =)
 
в итоге я делаю так: 
 
User-agent: *
Disallow: /
Allow: /$
 
Верно ? 

Share this post


Link to post
Share on other sites

Уважаемый, ТС Вам уже тут правильно сказали, нужно "грамотно расписать Disallow"

 

Необходимо закрывать все директории, которые должны быть закрыты, т.е. если у вас в папке сайта 10-20-40 поддиректорий, то придется писать 10-20-40 строчек Disallow.

Далее в Allow укажите путь от корня на те ссылки, которые необходимы.

Помоему именно так будет верно.

 

Напртмер:

 

User-agent: *

Disallow: /папка1/

Disallow: /папка10/

Disallow: /папка100/

Disallow: /папка1000/

Allow: /путь/ссылка1

Allow: /путь/ссылка2

 

а вообще я так пробовал сделать : 

User-agent: *

Allow: /page/index.html

Disallow: /

 

ничего хорошего не вышло. сайт вообще закрылся от миро сего, и гугл вебмастер ругался что на сайте появилась ошибка.  да и страница Allow: /page/index.html похоже тоже осталась закрытой

Share this post


Link to post
Share on other sites

В продолжение темы robot txt  да простит меня автор , но думаю будет кому то тоже полезно, так что спрошу.

 

Имеется структура сайта  Домен.ру/категория/подкатегория/материал

 

Вопрос!!!  Как закрыть от индексации подкатегорию , но не закрывать материал в этих подкатегориях?

Отдельно закрывать подкатегории и делать исключение материала по штучно не выход так как, материала слишком много.

Share this post


Link to post
Share on other sites

В продолжение темы robot txt  да простит меня автор , но думаю будет кому то тоже полезно, так что спрошу.

 

Имеется структура сайта  Домен.ру/категория/подкатегория/материал

 

Вопрос!!!  Как закрыть от индексации подкатегорию , но не закрывать материал в этих подкатегориях?

Отдельно закрывать подкатегории и делать исключение материала по штучно не выход так как, материала слишком много.

Забыл добавить!! движок - joomla

Share this post


Link to post
Share on other sites

В продолжение темы robot txt  да простит меня автор , но думаю будет кому то тоже полезно, так что спрошу.

 

Имеется структура сайта  Домен.ру/категория/подкатегория/материал

 

Вопрос!!!  Как закрыть от индексации подкатегорию , но не закрывать материал в этих подкатегориях?

Отдельно закрывать подкатегории и делать исключение материала по штучно не выход так как, материала слишком много.

 

Сам написал, сам лайкнул , сам посмеялся :D

Короче выяснил в одиночку!!! 

Как оказалось приём достаточно прост а именно в robot.txt прописывается Disallow: /категория/подкатегоряи знак $ (Disallow: /категория/подкатегоря$) Знак $ означает конец запрета то есть, после этого знака все индексируется!!! :D

orion likes this

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now

  • Recently Browsing   0 members

    No registered users viewing this page.