Jump to content

Открыть определенную страницу в robots

orion

By orion,
in kemelqwerty

 Share Followers 0

Recommended Posts

orion

orion 34

Posted
Posted

Добрый день, подскажите пожалуйста, у меня сайт полностью закрыт от индексации тегом в роботс, мне так нужно. 

 

в роботс у меня вписано только это: 

User-agent: *
Disallow: /
Allow: /$

 

И мне нужно добавить две ссылки что бы только они индексировались. Нужно только 2 ссылки доступные для поисковых систем.
как мне это сделать ? Если можно с примером
 
Link to post
Share on other sites
cmsony

cmsony 17

Posted
Posted

Файл роботса используется только для закрытия от индексации, но не как не для открытия... Если вы закрываете весь сайт, то он будет закрыт весь. Если вам нужно чтобы несколько страниц индексировалось, то нужно открыть сайт, а закрывать то что не хотите чтобы индексировалось. По другому никак.... 

Link to post
Share on other sites
orion

orion 34

Posted
  • Author
Posted

Эх. Печально. Почему ж такое не учли, закрыть от индексации весь сайт кроме определенных страниц.

Просто каждую ссылку закрыть от индекса это очень много работы. Особенно если сайтов 50 шт.

Link to post
Share on other sites
orion

orion 34

Posted
  • Author
Posted

Allow - открыть к индексации, Disallow - закрыть, думаю додумать сами сможете, что вам нужно вставить. Дам еще подсказку, нужный параметр и ссылка...

Пример был бы неплох

Link to post
Share on other sites
  • VIP
Tobol

Tobol 141

Posted
  • VIP
Posted

Allow: /catalog/auto

Например. Без разницы, что весь сайт закрыт от индексации, добавьте Allow: / с определённым адресом и эта страница проиндексируется

Link to post
Share on other sites
Mpro5

Mpro5 8

Posted
Posted

 

Добрый день, подскажите пожалуйста, у меня сайт полностью закрыт от индексации тегом в роботс, мне так нужно. 

 

в роботс у меня вписано только это: 

User-agent: *
Disallow: /
Allow: /$

 

И мне нужно добавить две ссылки что бы только они индексировались. Нужно только 2 ссылки доступные для поисковых систем.
как мне это сделать ? Если можно с примером

 

Можно так попробовать сделать для файла site.ru/folder/file.php

Allow: /folder/file*

Link to post
Share on other sites
rohanaro

rohanaro 58

Posted
Posted

только allow ставьте выше чем disallow
(сначала открываете доступ для определенных страниц, потом закрываете для всех остальных)


User-agent: *
Allow: /page/index.html
Disallow: /

 

Link to post
Share on other sites
Mpro5

Mpro5 8

Posted
Posted

только allow ставьте выше чем disallow

(сначала открываете доступ для определенных страниц, потом закрываете для всех остальных)

 

 

User-agent: *

Allow: /page/index.html

Disallow: /

 

 

Разве есть разница, что писать выше, а что ниже?

Link to post
Share on other sites
  • 2 weeks later...
msv

msv 5

Posted
Posted

Что бы не создавать лишние темы,  напишу сюда. ЛЮДИ ПОДСКАЖИТЕ, в роботсе туповат.

Как правильно закрыть 2 страницы.

отзывы о товаре

вид ссылок такой, пример,

сайт.ру/категория/название товавар/reviews/

 

Правильно ли я делал 

Disallow: /*reviews

или вот так надо Disallow: */reviews*

 

и второе у меня в категориях есть кнопка показать все товары  из категории, ссылка выглядит примерно так

сайт.ру/категория/название/all/

делал так Disallow: */all/

Или как-то по-другому нужно делать

 

ПОМОГИТЕ ПЛИЗ

Link to post
Share on other sites
  • 4 weeks later...
orion

orion 34

Posted
  • Author
Posted

только allow ставьте выше чем disallow

(сначала открываете доступ для определенных страниц, потом закрываете для всех остальных)

 

 

User-agent: *

Allow: /page/index.html

Disallow: /

 

 

 

Данный способ не помог. Сайт вообще закрылся, даже метатеги скрылись.

А нужно было сделать главную + пару определенных страниц.

гугл вебмастер пишет что на сайте ошибки и тп..

Link to post
Share on other sites
  • VIP
vituson

vituson 675

Posted
  • VIP
Posted

Данный способ не помог. Сайт вообще закрылся, даже метатеги скрылись.

А нужно было сделать главную + пару определенных страниц.

гугл вебмастер пишет что на сайте ошибки и тп..

Файл роботс-тхт предназначен для закрытия страниц от индексации, поэтом директиву Allow лучше не использовать. Нужно грамотно расписать Disallow.

Link to post
Share on other sites
  • 2 weeks later...
orion

orion 34

Posted
  • Author
Posted

Файл роботс-тхт предназначен для закрытия страниц от индексации, поэтом директиву Allow лучше не использовать. Нужно грамотно расписать Disallow.

 

Может кто то ясно объяснить на примере.

есть сайт, есть на нем статьи. 

сайт закрыт от индексации весь, в индексе только главная.

как мне сделать что б открыты к индексации были определенные ссылки, или категории, мне не нужно что б статьи были открыты для индексирования.

система opencart.

 

ну или наоборот

 

закрыть от индексации всю категорию с статьями, а остальные ссылки пусть будут открыты для индексирования

Link to post
Share on other sites
WBM-PM

WBM-PM 186

Posted
Posted

Уважаемый, ТС Вам уже тут правильно сказали, нужно "грамотно расписать Disallow"

 

Необходимо закрывать все директории, которые должны быть закрыты, т.е. если у вас в папке сайта 10-20-40 поддиректорий, то придется писать 10-20-40 строчек Disallow.

Далее в Allow укажите путь от корня на те ссылки, которые необходимы.

Помоему именно так будет верно.

 

Напртмер:

 

User-agent: *
Disallow: /папка1/

Disallow: /папка10/

Disallow: /папка100/

Disallow: /папка1000/

Allow: /путь/ссылка1

Allow: /путь/ссылка2

Link to post
Share on other sites
orion

orion 34

Posted
  • Author
Posted

Уважаемый, ТС Вам уже тут правильно сказали, нужно "грамотно расписать Disallow"

 

Необходимо закрывать все директории, которые должны быть закрыты, т.е. если у вас в папке сайта 10-20-40 поддиректорий, то придется писать 10-20-40 строчек Disallow.

Далее в Allow укажите путь от корня на те ссылки, которые необходимы.

Помоему именно так будет верно.

 

Напртмер:

 

User-agent: *

Disallow: /папка1/

Disallow: /папка10/

Disallow: /папка100/

Disallow: /папка1000/

Allow: /путь/ссылка1

Allow: /путь/ссылка2

 

 

мой пример

у меня сейчас так стоит 

User-agent: *
Disallow: /
Allow: /$
 
в индексе только 1 страница и это главная страница сайта.
хочу что бы было Главная страница и еще например одна страница пусть это будет статья "Как завязывать шнурки" =)
 
в итоге я делаю так: 
 
User-agent: *
Disallow: /
Allow: /$
 
Верно ? 
Link to post
Share on other sites
orion

orion 34

Posted
  • Author
Posted

Уважаемый, ТС Вам уже тут правильно сказали, нужно "грамотно расписать Disallow"

 

Необходимо закрывать все директории, которые должны быть закрыты, т.е. если у вас в папке сайта 10-20-40 поддиректорий, то придется писать 10-20-40 строчек Disallow.

Далее в Allow укажите путь от корня на те ссылки, которые необходимы.

Помоему именно так будет верно.

 

Напртмер:

 

User-agent: *

Disallow: /папка1/

Disallow: /папка10/

Disallow: /папка100/

Disallow: /папка1000/

Allow: /путь/ссылка1

Allow: /путь/ссылка2

 

а вообще я так пробовал сделать : 

User-agent: *

Allow: /page/index.html

Disallow: /

 

ничего хорошего не вышло. сайт вообще закрылся от миро сего, и гугл вебмастер ругался что на сайте появилась ошибка.  да и страница Allow: /page/index.html похоже тоже осталась закрытой

Link to post
Share on other sites
Fragmatic1992

Fragmatic1992 1

Posted
Posted

В продолжение темы robot txt  да простит меня автор , но думаю будет кому то тоже полезно, так что спрошу.

 

Имеется структура сайта  Домен.ру/категория/подкатегория/материал

 

Вопрос!!!  Как закрыть от индексации подкатегорию , но не закрывать материал в этих подкатегориях?

Отдельно закрывать подкатегории и делать исключение материала по штучно не выход так как, материала слишком много.

Link to post
Share on other sites
Fragmatic1992

Fragmatic1992 1

Posted
Posted

В продолжение темы robot txt  да простит меня автор , но думаю будет кому то тоже полезно, так что спрошу.

 

Имеется структура сайта  Домен.ру/категория/подкатегория/материал

 

Вопрос!!!  Как закрыть от индексации подкатегорию , но не закрывать материал в этих подкатегориях?

Отдельно закрывать подкатегории и делать исключение материала по штучно не выход так как, материала слишком много.

Забыл добавить!! движок - joomla

Link to post
Share on other sites
Fragmatic1992

Fragmatic1992 1

Posted
Posted

В продолжение темы robot txt  да простит меня автор , но думаю будет кому то тоже полезно, так что спрошу.

 

Имеется структура сайта  Домен.ру/категория/подкатегория/материал

 

Вопрос!!!  Как закрыть от индексации подкатегорию , но не закрывать материал в этих подкатегориях?

Отдельно закрывать подкатегории и делать исключение материала по штучно не выход так как, материала слишком много.

 

Сам написал, сам лайкнул , сам посмеялся :D

Короче выяснил в одиночку!!! 

Как оказалось приём достаточно прост а именно в robot.txt прописывается Disallow: /категория/подкатегоряи знак $ (Disallow: /категория/подкатегоря$) Знак $ означает конец запрета то есть, после этого знака все индексируется!!! :D

Link to post
Share on other sites

Please sign in to comment

You will be able to leave a comment after signing in



Sign In Now
 Share
Followers 0
Go to topic listing

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...