orion 34 Posted September 1, 2015 Report Share Posted September 1, 2015 Добрый день, подскажите пожалуйста, у меня сайт полностью закрыт от индексации тегом в роботс, мне так нужно. в роботс у меня вписано только это: User-agent: * Disallow: / Allow: /$ И мне нужно добавить две ссылки что бы только они индексировались. Нужно только 2 ссылки доступные для поисковых систем. как мне это сделать ? Если можно с примером Quote Link to post Share on other sites
olimpoks 8 Posted September 1, 2015 Report Share Posted September 1, 2015 Как вы себе это представляете ? Если уж закрыли весь сайт - то что вы хотите ..... Quote Link to post Share on other sites
cmsony 17 Posted September 1, 2015 Report Share Posted September 1, 2015 Файл роботса используется только для закрытия от индексации, но не как не для открытия... Если вы закрываете весь сайт, то он будет закрыт весь. Если вам нужно чтобы несколько страниц индексировалось, то нужно открыть сайт, а закрывать то что не хотите чтобы индексировалось. По другому никак.... Quote Link to post Share on other sites
roman48 57 Posted September 1, 2015 Report Share Posted September 1, 2015 привет.http://robotstxt.org.ru/ Quote Link to post Share on other sites
Shnapik 108 Posted September 1, 2015 Report Share Posted September 1, 2015 Allow - открыть к индексации, Disallow - закрыть, думаю додумать сами сможете, что вам нужно вставить. Дам еще подсказку, нужный параметр и ссылка... orion 1 Quote Link to post Share on other sites
orion 34 Posted September 1, 2015 Author Report Share Posted September 1, 2015 Эх. Печально. Почему ж такое не учли, закрыть от индексации весь сайт кроме определенных страниц. Просто каждую ссылку закрыть от индекса это очень много работы. Особенно если сайтов 50 шт. Quote Link to post Share on other sites
orion 34 Posted September 1, 2015 Author Report Share Posted September 1, 2015 Allow - открыть к индексации, Disallow - закрыть, думаю додумать сами сможете, что вам нужно вставить. Дам еще подсказку, нужный параметр и ссылка... Пример был бы неплох Quote Link to post Share on other sites
Transformer 442 Posted September 1, 2015 Report Share Posted September 1, 2015 Пример был бы неплох https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#allow-disallow Quote Link to post Share on other sites
VIP Tobol 141 Posted September 2, 2015 VIP Report Share Posted September 2, 2015 Allow: /catalog/auto Например. Без разницы, что весь сайт закрыт от индексации, добавьте Allow: / с определённым адресом и эта страница проиндексируется Quote Link to post Share on other sites
Mpro5 8 Posted September 2, 2015 Report Share Posted September 2, 2015 Добрый день, подскажите пожалуйста, у меня сайт полностью закрыт от индексации тегом в роботс, мне так нужно. в роботс у меня вписано только это: User-agent: * Disallow: / Allow: /$ И мне нужно добавить две ссылки что бы только они индексировались. Нужно только 2 ссылки доступные для поисковых систем. как мне это сделать ? Если можно с примером Можно так попробовать сделать для файла site.ru/folder/file.php Allow: /folder/file* Quote Link to post Share on other sites
Crack_key 48 Posted September 2, 2015 Report Share Posted September 2, 2015 Так должно работать. User-agent: Yandex (Googlebot или *) Disallow: / Allow: /page1 Allow: /page2 Quote Link to post Share on other sites
rohanaro 58 Posted September 2, 2015 Report Share Posted September 2, 2015 только allow ставьте выше чем disallow(сначала открываете доступ для определенных страниц, потом закрываете для всех остальных)User-agent: *Allow: /page/index.htmlDisallow: / Quote Link to post Share on other sites
orion 34 Posted September 2, 2015 Author Report Share Posted September 2, 2015 Попробую ваш вариант. Спасибо. А почему писали выше что нельзя сделать как я хочу. хм Quote Link to post Share on other sites
Mpro5 8 Posted September 4, 2015 Report Share Posted September 4, 2015 только allow ставьте выше чем disallow (сначала открываете доступ для определенных страниц, потом закрываете для всех остальных) User-agent: * Allow: /page/index.html Disallow: / Разве есть разница, что писать выше, а что ниже? Seoplus 1 Quote Link to post Share on other sites
msv 5 Posted September 17, 2015 Report Share Posted September 17, 2015 Что бы не создавать лишние темы, напишу сюда. ЛЮДИ ПОДСКАЖИТЕ, в роботсе туповат. Как правильно закрыть 2 страницы. отзывы о товаре вид ссылок такой, пример, сайт.ру/категория/название товавар/reviews/ Правильно ли я делал Disallow: /*reviews или вот так надо Disallow: */reviews* и второе у меня в категориях есть кнопка показать все товары из категории, ссылка выглядит примерно так сайт.ру/категория/название/all/ делал так Disallow: */all/ Или как-то по-другому нужно делать ПОМОГИТЕ ПЛИЗ Quote Link to post Share on other sites
msv 5 Posted September 17, 2015 Report Share Posted September 17, 2015 Добавлю, стоит ли страницы у категории закрывать от индексации. Например в категории 20 страниц Quote Link to post Share on other sites
orion 34 Posted October 11, 2015 Author Report Share Posted October 11, 2015 только allow ставьте выше чем disallow (сначала открываете доступ для определенных страниц, потом закрываете для всех остальных) User-agent: * Allow: /page/index.html Disallow: / Данный способ не помог. Сайт вообще закрылся, даже метатеги скрылись. А нужно было сделать главную + пару определенных страниц. гугл вебмастер пишет что на сайте ошибки и тп.. Quote Link to post Share on other sites
VIP vituson 661 Posted October 11, 2015 VIP Report Share Posted October 11, 2015 Данный способ не помог. Сайт вообще закрылся, даже метатеги скрылись. А нужно было сделать главную + пару определенных страниц. гугл вебмастер пишет что на сайте ошибки и тп.. Файл роботс-тхт предназначен для закрытия страниц от индексации, поэтом директиву Allow лучше не использовать. Нужно грамотно расписать Disallow. Quote Link to post Share on other sites
orion 34 Posted October 23, 2015 Author Report Share Posted October 23, 2015 Файл роботс-тхт предназначен для закрытия страниц от индексации, поэтом директиву Allow лучше не использовать. Нужно грамотно расписать Disallow. Может кто то ясно объяснить на примере. есть сайт, есть на нем статьи. сайт закрыт от индексации весь, в индексе только главная. как мне сделать что б открыты к индексации были определенные ссылки, или категории, мне не нужно что б статьи были открыты для индексирования. система opencart. ну или наоборот закрыть от индексации всю категорию с статьями, а остальные ссылки пусть будут открыты для индексирования Quote Link to post Share on other sites
WBM-PM 186 Posted October 23, 2015 Report Share Posted October 23, 2015 Уважаемый, ТС Вам уже тут правильно сказали, нужно "грамотно расписать Disallow" Необходимо закрывать все директории, которые должны быть закрыты, т.е. если у вас в папке сайта 10-20-40 поддиректорий, то придется писать 10-20-40 строчек Disallow. Далее в Allow укажите путь от корня на те ссылки, которые необходимы. Помоему именно так будет верно. Напртмер: User-agent: *Disallow: /папка1/ Disallow: /папка10/ Disallow: /папка100/ Disallow: /папка1000/ Allow: /путь/ссылка1 Allow: /путь/ссылка2 Quote Link to post Share on other sites
orion 34 Posted October 23, 2015 Author Report Share Posted October 23, 2015 Уважаемый, ТС Вам уже тут правильно сказали, нужно "грамотно расписать Disallow" Необходимо закрывать все директории, которые должны быть закрыты, т.е. если у вас в папке сайта 10-20-40 поддиректорий, то придется писать 10-20-40 строчек Disallow. Далее в Allow укажите путь от корня на те ссылки, которые необходимы. Помоему именно так будет верно. Напртмер: User-agent: * Disallow: /папка1/ Disallow: /папка10/ Disallow: /папка100/ Disallow: /папка1000/ Allow: /путь/ссылка1 Allow: /путь/ссылка2 мой пример у меня сейчас так стоит User-agent: * Disallow: / Allow: /$ в индексе только 1 страница и это главная страница сайта. хочу что бы было Главная страница и еще например одна страница пусть это будет статья "Как завязывать шнурки" =) в итоге я делаю так: User-agent: * Disallow: / Allow: /$ Allow: http://shnurok.ru/article/kak-zavyazuvat-shnurki.html Верно ? Quote Link to post Share on other sites
orion 34 Posted October 23, 2015 Author Report Share Posted October 23, 2015 Уважаемый, ТС Вам уже тут правильно сказали, нужно "грамотно расписать Disallow" Необходимо закрывать все директории, которые должны быть закрыты, т.е. если у вас в папке сайта 10-20-40 поддиректорий, то придется писать 10-20-40 строчек Disallow. Далее в Allow укажите путь от корня на те ссылки, которые необходимы. Помоему именно так будет верно. Напртмер: User-agent: * Disallow: /папка1/ Disallow: /папка10/ Disallow: /папка100/ Disallow: /папка1000/ Allow: /путь/ссылка1 Allow: /путь/ссылка2 а вообще я так пробовал сделать : User-agent: * Allow: /page/index.html Disallow: / ничего хорошего не вышло. сайт вообще закрылся от миро сего, и гугл вебмастер ругался что на сайте появилась ошибка. да и страница Allow: /page/index.html похоже тоже осталась закрытой Quote Link to post Share on other sites
Fragmatic1992 1 Posted October 23, 2015 Report Share Posted October 23, 2015 В продолжение темы robot txt да простит меня автор , но думаю будет кому то тоже полезно, так что спрошу. Имеется структура сайта Домен.ру/категория/подкатегория/материал Вопрос!!! Как закрыть от индексации подкатегорию , но не закрывать материал в этих подкатегориях? Отдельно закрывать подкатегории и делать исключение материала по штучно не выход так как, материала слишком много. Quote Link to post Share on other sites
Fragmatic1992 1 Posted October 23, 2015 Report Share Posted October 23, 2015 В продолжение темы robot txt да простит меня автор , но думаю будет кому то тоже полезно, так что спрошу. Имеется структура сайта Домен.ру/категория/подкатегория/материал Вопрос!!! Как закрыть от индексации подкатегорию , но не закрывать материал в этих подкатегориях? Отдельно закрывать подкатегории и делать исключение материала по штучно не выход так как, материала слишком много. Забыл добавить!! движок - joomla Quote Link to post Share on other sites
Fragmatic1992 1 Posted October 23, 2015 Report Share Posted October 23, 2015 В продолжение темы robot txt да простит меня автор , но думаю будет кому то тоже полезно, так что спрошу. Имеется структура сайта Домен.ру/категория/подкатегория/материал Вопрос!!! Как закрыть от индексации подкатегорию , но не закрывать материал в этих подкатегориях? Отдельно закрывать подкатегории и делать исключение материала по штучно не выход так как, материала слишком много. Сам написал, сам лайкнул , сам посмеялся Короче выяснил в одиночку!!! Как оказалось приём достаточно прост а именно в robot.txt прописывается Disallow: /категория/подкатегоряи знак $ (Disallow: /категория/подкатегоря$) Знак $ означает конец запрета то есть, после этого знака все индексируется!!! orion 1 Quote Link to post Share on other sites
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.