Sign in to follow this  
Followers 0
ZaraMc

куда вставить сайтмап?

7 posts in this topic

Здравствуйте.

 

На серче нашел нужный роботс, но там тоже не знают как правильно его оформить.

User-agent: *
Disallow: /engine/
Sitemap: http://site.ru/sitemap.xml

User-agent: Googlebot
Allow: /engine/*.js
Allow: /templates/*.css

User-agent: Googlebot-Image
Allow: /uploads/*.jpg
Allow: /uploads/*.png

User-agent: YandexBot
Host: site.ru

Сайтмап достаточно разместить для всех роботов? Не нужно везде прописывать? 

 

Если Disallow: /engine/ для всех роботов, то значит и для Яндекса тоже будет закрыто? 

По сути, Disallow: /engine/ должно у всех быть закрыто. 

Только гуглу нужен доступ к некоторым файлам и им я открыл доступ.

Яндексу нужен хост - ему указал. 

Share this post


Link to post
Share on other sites

User-agent: *

Disallow: /engine/

 

User-agent: Googlebot

Disallow: /engine/

Allow: /engine/*.js

Allow: /templates/*.css

 

User-agent: Googlebot-Image

Allow: /uploads/*.jpg

Allow: /uploads/*.png

 

User-agent: YandexBot

Disallow: /engine/

Host: site.ru

 

Sitemap: http://site.ru/sitemap.xml

 

Каждый паук читает весь роботс, но применяет только те правила, которые прописаны именно для него. Если правил для отдельного паука нет, он берет правила из блока "User-agent: *".

Share this post


Link to post
Share on other sites

Сайтмап и хост только один раз в самом конце роботса

Share this post


Link to post
Share on other sites

Всё таки нет.... Надо к каждому юзер агенту прописывать....

 

Я только что проверил верхний роботс, там не закрывает файлы от индексации.

 

Потом сделал так:

User-agent: *
Disallow: /engine/
Sitemap: http://site.ru/sitemap.xml

User-agent: Googlebot
Disallow: /engine/
Allow: /engine/*.js
Allow: /templates/*.css

User-agent: Googlebot-Image
Allow: /uploads/*.jpg
Allow: /uploads/*.png

User-agent: YandexBot
Host: site.ru

и скрыло engine/download.php .

Кстати, стили разрешил, но в гугл.вебмастере всё еще выходит ошибка О_о

Share this post


Link to post
Share on other sites

Всё таки нет.... Надо к каждому юзер агенту прописывать....

 

Я только что проверил верхний роботс, там не закрывает файлы от индексации.

 

Потом сделал так:

User-agent: *
Disallow: /engine/
Sitemap: http://site.ru/sitemap.xml

User-agent: Googlebot
Disallow: /engine/
Allow: /engine/*.js
Allow: /templates/*.css

User-agent: Googlebot-Image
Allow: /uploads/*.jpg
Allow: /uploads/*.png

User-agent: YandexBot
Host: site.ru

и скрыло engine/download.php .

 

Кстати, стили разрешил, но в гугл.вебмастере всё еще выходит ошибка О_о

Вам же люди дали правильный ответ ---  Сайтмап и хост только один раз в самом конце роботса

Sitemap: http://site.ru/sitemap.xml

Если вы считаете, что это не так, то зачем разводите эту дискусиию, да еще и с упоминанием того, что на серче этого никто не знает. бред. Это знают все, кто хотя бы погуглил этот запрос. Накручиваем посты? Тупо.

 

witosp likes this

Share this post


Link to post
Share on other sites

Вам же люди дали правильный ответ ---  Сайтмап и хост только один раз в самом конце роботса

Sitemap: http://site.ru/sitemap.xml

Если вы считаете, что это не так, то зачем разводите эту дискусиию, да еще и с упоминанием того, что на серче этого никто не знает. бред. Это знают все, кто хотя бы погуглил этот запрос. Накручиваем посты? Тупо.

 

В смысле "накручиваем посты"? Тут деньги чтоли платят ,если у тебя много постов?

 

У меня с этим роботс выдает ошибка на css и картинки.... http://prntscr.com/7z6532уже третий день с этим роботс мучаюсь из-за письмо от гугл

 

 

Share this post


Link to post
Share on other sites

Капец еще на php файл жалуется engine/classes/min/index.php?charset=utf-8&g=general&11  [Заблокированный ресурс]

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now
Sign in to follow this  
Followers 0

  • Recently Browsing   0 members

    No registered users viewing this page.