ZaraMc 1 Posted July 31, 2015 Report Share Posted July 31, 2015 Здравствуйте. На серче нашел нужный роботс, но там тоже не знают как правильно его оформить. User-agent: * Disallow: /engine/ Sitemap: http://site.ru/sitemap.xml User-agent: Googlebot Allow: /engine/*.js Allow: /templates/*.css User-agent: Googlebot-Image Allow: /uploads/*.jpg Allow: /uploads/*.png User-agent: YandexBot Host: site.ru Сайтмап достаточно разместить для всех роботов? Не нужно везде прописывать? Если Disallow: /engine/ для всех роботов, то значит и для Яндекса тоже будет закрыто? По сути, Disallow: /engine/ должно у всех быть закрыто. Только гуглу нужен доступ к некоторым файлам и им я открыл доступ. Яндексу нужен хост - ему указал. Quote Link to post Share on other sites
VIP vituson 617 Posted July 31, 2015 VIP Report Share Posted July 31, 2015 User-agent: * Disallow: /engine/ User-agent: Googlebot Disallow: /engine/ Allow: /engine/*.js Allow: /templates/*.css User-agent: Googlebot-Image Allow: /uploads/*.jpg Allow: /uploads/*.png User-agent: YandexBot Disallow: /engine/ Host: site.ru Sitemap: http://site.ru/sitemap.xml Каждый паук читает весь роботс, но применяет только те правила, которые прописаны именно для него. Если правил для отдельного паука нет, он берет правила из блока "User-agent: *". Quote Link to post Share on other sites
Zaga 28 Posted July 31, 2015 Report Share Posted July 31, 2015 Сайтмап и хост только один раз в самом конце роботса Quote Link to post Share on other sites
ZaraMc 1 Posted July 31, 2015 Author Report Share Posted July 31, 2015 Всё таки нет.... Надо к каждому юзер агенту прописывать.... Я только что проверил верхний роботс, там не закрывает файлы от индексации. Потом сделал так: User-agent: * Disallow: /engine/ Sitemap: http://site.ru/sitemap.xml User-agent: Googlebot Disallow: /engine/ Allow: /engine/*.js Allow: /templates/*.css User-agent: Googlebot-Image Allow: /uploads/*.jpg Allow: /uploads/*.png User-agent: YandexBot Host: site.ru и скрыло engine/download.php .Кстати, стили разрешил, но в гугл.вебмастере всё еще выходит ошибка О_о Quote Link to post Share on other sites
kosmopolit 127 Posted July 31, 2015 Report Share Posted July 31, 2015 Всё таки нет.... Надо к каждому юзер агенту прописывать.... Я только что проверил верхний роботс, там не закрывает файлы от индексации. Потом сделал так: User-agent: * Disallow: /engine/ Sitemap: http://site.ru/sitemap.xml User-agent: Googlebot Disallow: /engine/ Allow: /engine/*.js Allow: /templates/*.css User-agent: Googlebot-Image Allow: /uploads/*.jpg Allow: /uploads/*.png User-agent: YandexBot Host: site.ru и скрыло engine/download.php . Кстати, стили разрешил, но в гугл.вебмастере всё еще выходит ошибка О_о Вам же люди дали правильный ответ --- Сайтмап и хост только один раз в самом конце роботса Sitemap: http://site.ru/sitemap.xml Если вы считаете, что это не так, то зачем разводите эту дискусиию, да еще и с упоминанием того, что на серче этого никто не знает. бред. Это знают все, кто хотя бы погуглил этот запрос. Накручиваем посты? Тупо. witosp 1 Quote Link to post Share on other sites
ZaraMc 1 Posted July 31, 2015 Author Report Share Posted July 31, 2015 Вам же люди дали правильный ответ --- Сайтмап и хост только один раз в самом конце роботса Sitemap: http://site.ru/sitemap.xml Если вы считаете, что это не так, то зачем разводите эту дискусиию, да еще и с упоминанием того, что на серче этого никто не знает. бред. Это знают все, кто хотя бы погуглил этот запрос. Накручиваем посты? Тупо. В смысле "накручиваем посты"? Тут деньги чтоли платят ,если у тебя много постов? У меня с этим роботс выдает ошибка на css и картинки.... http://prntscr.com/7z6532уже третий день с этим роботс мучаюсь из-за письмо от гугл Quote Link to post Share on other sites
ZaraMc 1 Posted July 31, 2015 Author Report Share Posted July 31, 2015 Капец еще на php файл жалуется engine/classes/min/index.php?charset=utf-8&g=general&11 [Заблокированный ресурс] Quote Link to post Share on other sites
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.