Sign in to follow this  
Followers 0
quarrazzella

правильный robots.txt

11 posts in this topic

Подскажите, будут ли корректны данные строки в роботс.тхт

User-agent: bot1
User-agent: bot2
User-agent: bot3

Disallow: /

 

Моя цель - запретить ботам 1,2,3 индексировать сайт. Спасибо!

 

 

Share this post


Link to post
Share on other sites

Для каждого отдельно.

 

User-agent: bot1

Disallow: /

 

User-agent: bot2

Disallow: /

 

И тд.. А еще лучше, разрешить только Яндексу и Гугл и запретить всем остальным

quarrazzella likes this

Share this post


Link to post
Share on other sites

Для каждого отдельно.

 

User-agent: bot1

Disallow: /

 

User-agent: bot2

Disallow: /

 

И тд.. А еще лучше, разрешить только Яндексу и Гугл и запретить всем остальным

 А почему вы считаете, что другие боты не принесут пользу?

Share this post


Link to post
Share on other sites

Замечал интересный случай, когда множество разных ботов прочесывали сайт, только при этом создавая страницы 404. Ещё, как плюс, они не приносят пользы, поскольку являются ботами неизвестных систем или сервисов, и ещё очень любят грузить сайт постоянными просмотрами страниц. После чего хостер начинает слать сообщения о нагрузке на цпу :)

 

Лучше разрешить индексацию только ботами известных сервисов, дальше всех отправлять подальше.

CyberEngine likes this

Share this post


Link to post
Share on other sites

 А почему вы считаете, что другие боты не принесут пользу?

 

Опыт. Вы лучше скажите, какие боты кроме Яндекса и Гугла могут быть вам полезны. Зато я видел случаи, когда спам-боты валили сайт и нагружали сервер. 

 

Hrapian дал более развернутый ответ.

Edited by GladWeb
CyberEngine likes this

Share this post


Link to post
Share on other sites

А еще лучше, разрешить только Яндексу и Гугл и запретить всем остальным

 

 

Лучше разрешить индексацию только ботами известных сервисов, дальше всех отправлять подальше.

 

У меня, например, появились переходы с Бинга и Яхи. А ещё рамблёр, майл и нигма напоминают, что они ещё живые.

CyberEngine likes this

Share this post


Link to post
Share on other sites

У меня, например, появились переходы с Бинга и Яхи. А ещё рамблёр, майл и нигма напоминают, что они ещё живые.

 

Многие поисковики используют ресурсы известных, таких как Гугл и Яндекс. А те кто не используют, то трафика оттуда 1 человек в год, стоит ради этого открываться всем? Я думаю не стоит. На моем сайте при посещаемости в 2000 уников в сутки, бывает что 1 человек в месяц зайдет с Яху или Бинга, и что он мне дает? Абсолютно ничего, возможно это даже глюк :)

Share this post


Link to post
Share on other sites

возможно это даже глюк :)

Иногда приятный глюк ;) особенно когда появляются 10-20 уников в день, на сайте с посещаемостью 150-200.

Многие поисковики используют ресурсы известных, таких как Гугл и Яндекс.

Бинг и Яха? Сомневаюсь, хотя если есть инфа по этому поводу, буду благодарен ссылке в личку.

Share this post


Link to post
Share on other sites

Отличный пример использования технологии другой поисковой системы - всем известный Рамблер.поиск 

Изначально, конечно, у них были свои ресурсы.

Share this post


Link to post
Share on other sites

Прежде чем так делать, подумайте. Я всегда смотрю роботс известных сайтов. Например, гляньте у wordpress . Я раньше тоже так думал. Потом убрал все и сделал стандартный роботс.

Share this post


Link to post
Share on other sites

почему не использовать User-agent: * ?

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now
Sign in to follow this  
Followers 0

  • Recently Browsing   0 members

    No registered users viewing this page.