terentev429

Сколько желательно ставить секунд для роботов Robots.txt?

12 posts in this topic

Подскажите сколько поставить секунд для роботов, создаю Robots.txt. Если поставить 120 может как раз улучшат посещаемость сайта, находясь почти 2 мин. на сайте... 

Al-fX8FWTwA.jpg

Share this post


Link to post
Share on other sites

Если я вас правильно понял, то вы говорите за "Crawl-delay" - для слабых серверов.

Вообще это значение ставят если сервер не выдерживает нагрузки от большого количества роботов.

Чтобы уменьшить нагрузку, ставят задержку - в секундах, для обращения роботов.

И это ни как не относится к время прибывания роботов на сайте и посещаемости в целом (пользователями).
 

Share this post


Link to post
Share on other sites
19 минут назад, Anjel сказал:

Если я вас правильно понял, то вы говорите за "Crawl-delay" - для слабых серверов.

Вообще это значение ставят если сервер не выдерживает нагрузки от большого количества роботов.

Чтобы уменьшить нагрузку, ставят задержку - в секундах, для обращения роботов.

И это ни как не относится к время прибывания роботов на сайте и посещаемости в целом (пользователями).
 

у меня сайт стоит на хостинге, мне желательно сек 30 поставить наверное, чтоб нагрузки меньше было?

Share this post


Link to post
Share on other sites

Я 10 лет назад, был на бесплатном хостинге и то не пользовался директивой "Crawl-delay".
Так что, смотрите сами. Я бы вообще не ставил - по моему, сейчас даже хостинги по 30р и то не лягут от роботов.

terentev429 likes this

Share this post


Link to post
Share on other sites
3 минуты назад, Anjel сказал:

Я 10 лет назад, был на бесплатном хостинге и то не пользовался директивой "Crawl-delay".
Так что, смотрите сами. Я бы вообще не ставил - по моему, сейчас даже хостинги по 30р и то не лягут от роботов.

Спасибо). Поставлю 0 ...

Share this post


Link to post
Share on other sites

У меня порядка 8000 страниц, ставил здержку в 10 с., чтоб роботы не сосали сайт как пылесосы. 

terentev429 likes this

Share this post


Link to post
Share on other sites

Crawl-delay не понимают ни Яндекс, ни Гугл, кого вы там собрались задерживать? Если хотите частоту обхода сделать реже, регулируйте скорость обхода в кабинетах вебмастеров. Всех остальных ботов можно и нужно банить в Htaccess, особенно ботов мел-ру.

terentev429 likes this

Share this post


Link to post
Share on other sites
44 минуты назад, vituson сказал:

Crawl-delay не понимают ни Яндекс, ни Гугл, кого вы там собрались задерживать? Если хотите частоту обхода сделать реже, регулируйте скорость обхода в кабинетах вебмастеров. Всех остальных ботов можно и нужно банить в Htaccess, особенно ботов мел-ру.

Тогда что мне "индексировать сайт все роботам" постовить "запретить"? Сейчас у меня стоит разрешить с задержкой на 10 сек.

Share this post


Link to post
Share on other sites

У вас, видимо, какой-то конструктор. Как хотите, можете не запрещать (а то хуже сделаете), но "задержка" для Яндекса и Гугла не будет работать, так что без разницы, сколько времени выставите.

Share this post


Link to post
Share on other sites
15 минут назад, vituson сказал:

У вас, видимо, какой-то конструктор. Как хотите, можете не запрещать (а то хуже сделаете), но "задержка" для Яндекса и Гугла не будет работать, так что без разницы, сколько времени выставите.

Я ставлю через редактор pr-cy, я смотрю от этого сайта много чего есть). Спасибо Вам!

Share this post


Link to post
Share on other sites

120 секунд - это интервал, через который зайдет робот на сайт, отсчитывая время от предыдущего посещения, а не время нахождения на сайте. Т.е., 10 секунд - это "не чаще" 1 захода в 10 секунд.

Share this post


Link to post
Share on other sites
Только что, vituson сказал:

120 секунд - это интервал, через который зайдет робот на сайт, отсчитывая время от предыдущего сообщения, а не время нахождения на сайте. Т.е., 10 секунд - это "не чаще" 1 захода в 10 секунд.

Теперь понял... вообще  10 сек поставил...

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now

  • Recently Browsing   0 members

    No registered users viewing this page.