vladimirSPB 0 Posted August 30, 2013 Report Share Posted August 30, 2013 Добрый день!Такая ситуация, может кто сталкивался:Сайт на Joomla 1,5.В индекс гугла постоянно попадают страницы, давно закрытые robots.txt (они находятся при поиске вида site:site.ru. В снипете написано - описание страницы недоступно из-за ограничений в файле роботс). Вроде все кривые ссылки с сайта убрали, которые шли вида ...id=XX. Но до сих пор гугл какими-то странными путями ходит, и в индекс попадают ссылки на закрытые страницы. В яндексе тоже так раньше было, но после правок всё устаканилось и ничего лишнего давно уже не попадает. Sitemap есть.Кто-нибудь сталкивался с такой проблемой? Есть варианты как лечить? Quote Link to post Share on other sites
archid 37 Posted August 30, 2013 Report Share Posted August 30, 2013 Гугл и яндекс лазят везде, даже в запрещенных к индексации страницах, просто их вес и контент не учитывается в выдаче. А такая проблема может возникать из-за глюка гугла, найдите еще варианты для запрета индексации или смените алгоритм в робот.тхт. п.с. ране было куча новостей про то что поисковики даже индексируют конфиденциальную инфу, к которой не так просто добраться. Quote Link to post Share on other sites
tuxo 43 Posted August 30, 2013 Report Share Posted August 30, 2013 @vladimirSPB, В роботс.тхт для гугла правила прописаны отдельно, или со знаком *? В таки случаях используют запрет индексации ненужных страниц, с помощью мета тега роботс. Quote Link to post Share on other sites
VIP buktor 243 Posted August 30, 2013 VIP Report Share Posted August 30, 2013 @vladimirSPB, примеры использования метатега роботс <meta name=“robots” content=“noindex,nofollow”> noindex - не индексировать содержимое! nofollow - не индексировать ссылки! При этом нужно убрать url на ту страницу в файле robots.txt, иначе страница все равно будет попадать в индекс! метатег заключается в тегах. <head> код... </head> Пример <html> <head> <meta name=“robots” content=“noindex,nofollow”> <title>Закрываем от индекса</title> </head> <body> Не индексируемое содержимое, <a href="bla-bla-bla.com">Не индексируемая ссылка</a> </body> </html> Quote Link to post Share on other sites
foreman 47 Posted August 30, 2013 Report Share Posted August 30, 2013 В снипете написано - описание страницы недоступно из-за ограничений в файле роботс То есть она не участвует в выдаче, что и требуется. В чем тогда проблема, зачем выдумывать себе заботы? Quote Link to post Share on other sites
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.