Sign in to follow this  
Followers 0
hip12

Сайтмап в роботсе - нужна или нет?

22 posts in this topic

Здравствуйте. Обычно при составления роботса прописывал в нем путь к карте сайта. Недавно нашёл инфу о вреде этого - вроде и контент так легче воровать и даже вирусы закачивать. Предлагаемое решение - карту прятать в новую папку (например, maps), а Гуглу и Яндексу указывать путь к карте в настройках и диагностике, не через роботс. Насколько это верно?

 

Share this post


Link to post
Share on other sites

Так и делайте. Шифруйте адрес карты, например, ldf9849.xml и кормите адрес ПС в кабинетах вебмастеров.

В роботсе адрес нужды указывать нет (и не делайте так).

hip12 likes this

Share this post


Link to post
Share on other sites

парсят через rss.xml (который обновляется автоматически)

а не sitemap.xml (который чаще всего статичен некоторое время)

 

Все сервисы вебмастер Я / Г / Майл / Бинг и так дают возможность добавить свою карту сайта, поэтому можете не указывать ее в роботсе.

 

Насчет вирусов - не правда, может кого-то просто взломали через htacess / ftp и создали фейк-файл sitemap.xml (sitemap.php) с вирусами в папке какой-то, чтобы не палилось название. Не назовут же вирус ya_ne_virus.php

Только если так.

Share this post


Link to post
Share on other sites

Так и делайте. Шифруйте адрес карты, например, ldf9849.xml и кормите адрес ПС в кабинетах вебмастеров.

В роботсе адрес нужды указывать нет (и не делайте так).

В этом случае нужно прятать файл в отдельно созданную папку (не найдут его в корне по расширению xml)?

Share this post


Link to post
Share on other sites

Адрес sitemap.xml по стандартам SEO надо обязательно указывать в roots.txt

Share this post


Link to post
Share on other sites

Адрес sitemap.xml по стандартам SEO надо обязательно указывать в roots.txt

 

Это где такие "стандарты SEO" посмотреть можно, не поделитесь?

campusboy and diplomdistant like this

Share this post


Link to post
Share on other sites

Это где такие "стандарты SEO" посмотреть можно, не поделитесь?

 

Нет проблем, вот официально от Яндекс, что в robots.txt должен быть указан адрес к sitemap.xml - https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#sitemap

Share this post


Link to post
Share on other sites

Нет проблем, вот официально от Яндекс, что в robots.txt должен быть указан адрес к sitemap.xml - https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#sitemap

Если вы укажете адрес sitemap в кабинете вебмастера (известите робота), светить директиву в роботс тхт нет абсолютно никакой нужды и никакие это не стандарты SEO :)

Share this post


Link to post
Share on other sites

Если вы укажете адрес sitemap в кабинете вебмастера (известите робота), светить директиву в роботс тхт нет абсолютно никакой нужды и никакие это не стандарты SEO :)

 

Вы укажете ссылку на sitemap в кабинете вебмастера Яндекса и Google? Если да, то откуда узнают о нём другие поисковые системы (ведь на Яндекс и Google поисковые системы не заканчиваются)? Или вы будете указывать ссылку на sitemap в кабинете вебмастера каждой поисковой системы - Mail, Rambler, DuckDuckGo, Мета-Украина, Yahoo, Bing, Apport, MSN, All.by, Нигма, Ask, Baidu, ну и ещё в нескольких сотнях?

Share this post


Link to post
Share on other sites

Например, на мой сайт с других поисковых систем (кроме Яндекс и Google) человек 10-15 приходит

Share this post


Link to post
Share on other sites
Mail, Rambler, DuckDuckGo, Мета-Украина, Yahoo, Bing, Apport, MSN, All.by, Нигма, Ask, Baidu

Поисковые системы здесь вроде: Mail и Bing, на которые стоит обратить внимание в рунете. Остальное - и не поисковые системы вовсе или такие, которым синтаксис вашего robots.txt до одного места. 

 

А кроме того и указывать никому sitemap не нужно! Это если у вас не сложный многокилометровый сайт. ПС прекрасно индексируют сайты с понятной и простой структурой (переходя по ссылкам на сайте и формируя свою карту).

campusboy and raynar like this

Share this post


Link to post
Share on other sites
Mail, Rambler, DuckDuckGo, Мета-Украина, Yahoo, Bing, Apport, MSN, All.by, Нигма, Ask, Baidu

Поисковые системы здесь вроде: Mail и Bing, на которые стоит обратить внимание в рунете. Остальное - и не поисковые системы вовсе или такие, которым синтаксис вашего robots.txt до одного места. 

 

А кроме того и указывать никому sitemap не нужно! Это если у вас не сложный многокилометровый сайт. ПС прекрасно индексируют сайты с понятной и простой структурой (переходя по ссылкам на сайте и формируя свою карту).

 

 

Ну лично у меня, например, есть один сайт 35 000+ страниц, структура сайта сложная. Сайт мультиязычный, трафик из России, США, Украины, Казахстана, Китая и Азербайджана, причём отовсюду примерно одинаково. Ну и как тут поисковики без sitemap разберутся?

Share this post


Link to post
Share on other sites

Светить или не светить адрес sitemap в роботс - дело ваше.

ТС поднял тему, что скрытие адреса sitemap от публики избавляет сайт от некоторых потенциальных проблем.

 

- легко выкачать сайт (куча парсеров заточена на чтение структуры сайта из sitemap);

- легко "повесить" сайт, отправив нагрузку по всем урлам sitemap;

- легко поймать нагрузку от бестолковых ботов, выкачивающих сайт по sitemap... и т.д.

raynar likes this

Share this post


Link to post
Share on other sites

Подскажите, как правильно указать адре карты сайта:

http или https? На сайте протокол https

Share this post


Link to post
Share on other sites

Подскажите, как правильно указать адре карты сайта:

http или https? На сайте протокол https

У вас разве не настроен редирект на https? (чтобы не наплодить зеркал сайтов?)

И адрес будет соответственно с https

Share this post


Link to post
Share on other sites

И еще вопрос по .htaccess.

При настройке редиректа его сначала помещают?

Пример:

 

# BEGIN WordPress

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.САЙТ\.ru$ [NC]
RewriteRule ^(.*)$ http: //САЙТ.ru/$1 [R=301,L]
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
 
# END WordPress
 
# BEGIN Блокировщик вредных ботов
 
# END Блокировщик вредных ботов

Share this post


Link to post
Share on other sites

Здравствуйте. Обычно при составления роботса прописывал в нем путь к карте сайта. Недавно нашёл инфу о вреде этого - вроде и контент так легче воровать и даже вирусы закачивать. Предлагаемое решение - карту прятать в новую папку (например, maps), а Гуглу и Яндексу указывать путь к карте в настройках и диагностике, не через роботс. Насколько это верно?

 

Роботс - это если у вас есть какие-то требования к закрытию страниц.

В противном случае, вопреки все утверждениям, настаиваю, что стандартный роботс должен выглядеть максимально просто.

 

Вот примерно как здесь

http://www.3dnews.ru/robots.txt

 

О важности этого сайта можно судить по этим данным

https://a.pr-cy.ru/www.3dnews.ru/

 

(тИЦ 7200, Я.Каталог, Место в мире 4400 по Алекса, место в России 218, посетители - четверть миллиона в день)

 

--

 

User-agent: *

Allow: /

Disallow:

Crawl-Delay: 0.5

Host: www.3dnews.ru

 

--

 

ВСЁ  ;)

Share this post


Link to post
Share on other sites

Да, у меня примерно такой роботс и был. Но на одном сайте при 1000 статей было загружено около 6000, а в поиске 1200. После этого стал рыть, как бороться с этим - нашел статью про роботс. Теперь еще про
.htaccess.

Share this post


Link to post
Share on other sites

Да любой сайт тем же PageWeight можно на карту раскрутить за 2-3 минуты, кому надо спарсить - тот спарсит.

raynar likes this

Share this post


Link to post
Share on other sites

Здравствуйте ! У меня сайт https://giffs.ru/ и мне тоже советуют добавить карту в роботс сейчас это актуально ? Вот такое сообщение " У вас роботс не правильно прописан, нету пути к sitemap, нету строки для Яндекса, не указан хост, также sitemap выполняется через плагин, который выдает ошибки постоянные, и нужно его заменить на нормальный" Подскажите что мне нужно улучшить в роботс и что у меня с картой ?! Спасибо.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now
Sign in to follow this  
Followers 0

  • Recently Browsing   0 members

    No registered users viewing this page.