Jump to content

Сайтмап в роботсе - нужна или нет?

hip12
 Share Followers 0

Recommended Posts

hip12

hip12 104

Posted
Posted

Здравствуйте. Обычно при составления роботса прописывал в нем путь к карте сайта. Недавно нашёл инфу о вреде этого - вроде и контент так легче воровать и даже вирусы закачивать. Предлагаемое решение - карту прятать в новую папку (например, maps), а Гуглу и Яндексу указывать путь к карте в настройках и диагностике, не через роботс. Насколько это верно?

 

Link to post
Share on other sites
  • Модератор
files

files 2844

Posted
  • Модератор
Posted

Так и делайте. Шифруйте адрес карты, например, ldf9849.xml и кормите адрес ПС в кабинетах вебмастеров.

В роботсе адрес нужды указывать нет (и не делайте так).

Link to post
Share on other sites
Busines

Busines 228

Posted
Posted

парсят через rss.xml (который обновляется автоматически)

а не sitemap.xml (который чаще всего статичен некоторое время)

 

Все сервисы вебмастер Я / Г / Майл / Бинг и так дают возможность добавить свою карту сайта, поэтому можете не указывать ее в роботсе.

 

Насчет вирусов - не правда, может кого-то просто взломали через htacess / ftp и создали фейк-файл sitemap.xml (sitemap.php) с вирусами в папке какой-то, чтобы не палилось название. Не назовут же вирус ya_ne_virus.php

Только если так.

Link to post
Share on other sites
hip12

hip12 104

Posted
  • Author
Posted

Так и делайте. Шифруйте адрес карты, например, ldf9849.xml и кормите адрес ПС в кабинетах вебмастеров.

В роботсе адрес нужды указывать нет (и не делайте так).

В этом случае нужно прятать файл в отдельно созданную папку (не найдут его в корне по расширению xml)?

Link to post
Share on other sites
anton.abr

anton.abr 8

Posted
Posted

Это где такие "стандарты SEO" посмотреть можно, не поделитесь?

 

Нет проблем, вот официально от Яндекс, что в robots.txt должен быть указан адрес к sitemap.xml - https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#sitemap

Link to post
Share on other sites
  • Модератор
files

files 2844

Posted
  • Модератор
Posted

Нет проблем, вот официально от Яндекс, что в robots.txt должен быть указан адрес к sitemap.xml - https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#sitemap

Если вы укажете адрес sitemap в кабинете вебмастера (известите робота), светить директиву в роботс тхт нет абсолютно никакой нужды и никакие это не стандарты SEO :)

Link to post
Share on other sites
anton.abr

anton.abr 8

Posted
Posted

Если вы укажете адрес sitemap в кабинете вебмастера (известите робота), светить директиву в роботс тхт нет абсолютно никакой нужды и никакие это не стандарты SEO :)

 

Вы укажете ссылку на sitemap в кабинете вебмастера Яндекса и Google? Если да, то откуда узнают о нём другие поисковые системы (ведь на Яндекс и Google поисковые системы не заканчиваются)? Или вы будете указывать ссылку на sitemap в кабинете вебмастера каждой поисковой системы - Mail, Rambler, DuckDuckGo, Мета-Украина, Yahoo, Bing, Apport, MSN, All.by, Нигма, Ask, Baidu, ну и ещё в нескольких сотнях?

Link to post
Share on other sites
  • Модератор
files

files 2844

Posted
  • Модератор
Posted 
Mail, Rambler, DuckDuckGo, Мета-Украина, Yahoo, Bing, Apport, MSN, All.by, Нигма, Ask, Baidu

Поисковые системы здесь вроде: Mail и Bing, на которые стоит обратить внимание в рунете. Остальное - и не поисковые системы вовсе или такие, которым синтаксис вашего robots.txt до одного места. 

 

А кроме того и указывать никому sitemap не нужно! Это если у вас не сложный многокилометровый сайт. ПС прекрасно индексируют сайты с понятной и простой структурой (переходя по ссылкам на сайте и формируя свою карту).

Link to post
Share on other sites
anton.abr

anton.abr 8

Posted
Posted 
Mail, Rambler, DuckDuckGo, Мета-Украина, Yahoo, Bing, Apport, MSN, All.by, Нигма, Ask, Baidu

Поисковые системы здесь вроде: Mail и Bing, на которые стоит обратить внимание в рунете. Остальное - и не поисковые системы вовсе или такие, которым синтаксис вашего robots.txt до одного места. 

 

А кроме того и указывать никому sitemap не нужно! Это если у вас не сложный многокилометровый сайт. ПС прекрасно индексируют сайты с понятной и простой структурой (переходя по ссылкам на сайте и формируя свою карту).

 

 

Ну лично у меня, например, есть один сайт 35 000+ страниц, структура сайта сложная. Сайт мультиязычный, трафик из России, США, Украины, Казахстана, Китая и Азербайджана, причём отовсюду примерно одинаково. Ну и как тут поисковики без sitemap разберутся?

Link to post
Share on other sites
  • Модератор
files

files 2844

Posted
  • Модератор
Posted

Светить или не светить адрес sitemap в роботс - дело ваше.

ТС поднял тему, что скрытие адреса sitemap от публики избавляет сайт от некоторых потенциальных проблем.

 

- легко выкачать сайт (куча парсеров заточена на чтение структуры сайта из sitemap);

- легко "повесить" сайт, отправив нагрузку по всем урлам sitemap;

- легко поймать нагрузку от бестолковых ботов, выкачивающих сайт по sitemap... и т.д.

Link to post
Share on other sites
  • Модератор
files

files 2844

Posted
  • Модератор
Posted

Подскажите, как правильно указать адре карты сайта:

http или https? На сайте протокол https

У вас разве не настроен редирект на https? (чтобы не наплодить зеркал сайтов?)

И адрес будет соответственно с https

Link to post
Share on other sites
hip12

hip12 104

Posted
  • Author
Posted

И еще вопрос по .htaccess.

При настройке редиректа его сначала помещают?

Пример:

 

# BEGIN WordPress

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.САЙТ\.ru$ [NC]
RewriteRule ^(.*)$ http: //САЙТ.ru/$1 [R=301,L]
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
 
# END WordPress
 
# BEGIN Блокировщик вредных ботов
 
# END Блокировщик вредных ботов
Link to post
Share on other sites
  • VIP
webostrov

webostrov 2532

Posted
  • VIP
Posted

Здравствуйте. Обычно при составления роботса прописывал в нем путь к карте сайта. Недавно нашёл инфу о вреде этого - вроде и контент так легче воровать и даже вирусы закачивать. Предлагаемое решение - карту прятать в новую папку (например, maps), а Гуглу и Яндексу указывать путь к карте в настройках и диагностике, не через роботс. Насколько это верно?

 

Роботс - это если у вас есть какие-то требования к закрытию страниц.

В противном случае, вопреки все утверждениям, настаиваю, что стандартный роботс должен выглядеть максимально просто.

 

Вот примерно как здесь

http://www.3dnews.ru/robots.txt

 

О важности этого сайта можно судить по этим данным

https://a.pr-cy.ru/www.3dnews.ru/

 

(тИЦ 7200, Я.Каталог, Место в мире 4400 по Алекса, место в России 218, посетители - четверть миллиона в день)

 

--

 

User-agent: *

Allow: /

Disallow:

Crawl-Delay: 0.5

Host: www.3dnews.ru

 

--

 

ВСЁ  ;)

Link to post
Share on other sites
hip12

hip12 104

Posted
  • Author
Posted

Да, у меня примерно такой роботс и был. Но на одном сайте при 1000 статей было загружено около 6000, а в поиске 1200. После этого стал рыть, как бороться с этим - нашел статью про роботс. Теперь еще про
.htaccess.

Link to post
Share on other sites
  • 3 years later...
Евгений89

Евгений89 0

Posted
Posted

Здравствуйте ! У меня сайт https://giffs.ru/ и мне тоже советуют добавить карту в роботс сейчас это актуально ? Вот такое сообщение " У вас роботс не правильно прописан, нету пути к sitemap, нету строки для Яндекса, не указан хост, также sitemap выполняется через плагин, который выдает ошибки постоянные, и нужно его заменить на нормальный" Подскажите что мне нужно улучшить в роботс и что у меня с картой ?! Спасибо.

Link to post
Share on other sites

Please sign in to comment

You will be able to leave a comment after signing in



Sign In Now
 Share
Followers 0
Go to topic listing

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...