vladimirSPB 0 Report post Posted August 30, 2013 Добрый день!Такая ситуация, может кто сталкивался:Сайт на Joomla 1,5.В индекс гугла постоянно попадают страницы, давно закрытые robots.txt (они находятся при поиске вида site:site.ru. В снипете написано - описание страницы недоступно из-за ограничений в файле роботс). Вроде все кривые ссылки с сайта убрали, которые шли вида ...id=XX. Но до сих пор гугл какими-то странными путями ходит, и в индекс попадают ссылки на закрытые страницы. В яндексе тоже так раньше было, но после правок всё устаканилось и ничего лишнего давно уже не попадает. Sitemap есть.Кто-нибудь сталкивался с такой проблемой? Есть варианты как лечить? Quote Share this post Link to post Share on other sites
archid 37 Report post Posted August 30, 2013 Гугл и яндекс лазят везде, даже в запрещенных к индексации страницах, просто их вес и контент не учитывается в выдаче. А такая проблема может возникать из-за глюка гугла, найдите еще варианты для запрета индексации или смените алгоритм в робот.тхт. п.с. ране было куча новостей про то что поисковики даже индексируют конфиденциальную инфу, к которой не так просто добраться. Quote Share this post Link to post Share on other sites
tuxo 43 Report post Posted August 30, 2013 @vladimirSPB, В роботс.тхт для гугла правила прописаны отдельно, или со знаком *? В таки случаях используют запрет индексации ненужных страниц, с помощью мета тега роботс. Quote Share this post Link to post Share on other sites
buktor 243 Report post Posted August 30, 2013 @vladimirSPB, примеры использования метатега роботс <meta name=“robots” content=“noindex,nofollow”> noindex - не индексировать содержимое! nofollow - не индексировать ссылки! При этом нужно убрать url на ту страницу в файле robots.txt, иначе страница все равно будет попадать в индекс! метатег заключается в тегах. <head> код... </head> Пример <html> <head> <meta name=“robots” content=“noindex,nofollow”> <title>Закрываем от индекса</title> </head> <body> Не индексируемое содержимое, <a href="bla-bla-bla.com">Не индексируемая ссылка</a> </body> </html> Quote Share this post Link to post Share on other sites
foreman 47 Report post Posted August 30, 2013 В снипете написано - описание страницы недоступно из-за ограничений в файле роботс То есть она не участвует в выдаче, что и требуется. В чем тогда проблема, зачем выдумывать себе заботы? Quote Share this post Link to post Share on other sites
