balboa

Переобход сайта поисковыми ботами

9 posts in this topic

Всем привет

Есть сайт на 200 тыс. страниц.

На сайте произошли массовые изменения, как в коде так и url.

Для url настроен 301 редирект старый -> новый

Прошло уже 20 дней, но в поиске обновилось ~7-10%. На сайте есть быстробот yandex и он мгновенно добавляет новые страницы.

В yandex отправляю страницы на переобход, но там ограничения, всего 20 стр. в сутки. В google теперь совсем нет инструментов, только sitemap.xml

Поделитесь опытом, как ускорить переиндексацию такого большого сайта?

twitter и др. соц. сети еще работают?

Share this post


Link to post
Share on other sites
В 01.06.2019 в 2:22 AM, balboa сказал:

... . В google теперь совсем нет инструментов, только sitemap.xml. 

 

Почему же нет, очень даже есть, в новой Google Search Consol.

5cf3812a803f3_googlesearchconsol.thumb.jpg.650ed203562701d37b0b9d5850b203f1.jpg

Только сложно такое количество страниц отправить на переиндексацию!)) 

Share this post


Link to post
Share on other sites
5 часов назад, LoGen сказал:

Почему же нет, очень даже есть, в новой Google Search Consol.

5cf3812a803f3_googlesearchconsol.thumb.jpg.650ed203562701d37b0b9d5850b203f1.jpg

Только сложно такое количество страниц отправить на переиндексацию!)) 

Да, но ранее в google было 2 варианта, оправить на переобход:

1) только 1 страницу (до 500 стр. в сутки)

2) 1 страницу и все ссылки на странице. (до 10 в сутки)

Т.е ранее, я бы отправлял google робота каждый день на 10 разных разделов и за неделю 60-70% новых страниц, было бы уже в индексе.

Жаль что ПС все еще привыкли, что сайты должны быть визитками на 10-20 стр. и не думают о больших проектах)

Share this post


Link to post
Share on other sites
21 минуту назад, balboa сказал:

Жаль что ПС все еще привыкли, что сайты должны быть визитками на 10-20 стр. и не думают о больших проектах)

Они думают и о больших проектах, просто у ботов работы много. Поэтому есть такое понятие, как "краулинговый бюджет". Хотя я вроде недавно где-то читал, что гугл его сильно увеличил, а может мне и приснилось. Чтобы ПС быстро индексировали сайты, они должны быть как минимум без ошибок, дублей и быстро отвечать. На сайтах, которые отвратительно сделаны, даже эти инструменты из ВМ не работают

Share this post


Link to post
Share on other sites
29 минут назад, petroff сказал:

Они думают и о больших проектах, просто у ботов работы много. Поэтому есть такое понятие, как "краулинговый бюджет". Хотя я вроде недавно где-то читал, что гугл его сильно увеличил, а может мне и приснилось. Чтобы ПС быстро индексировали сайты, они должны быть как минимум без ошибок, дублей и быстро отвечать. На сайтах, которые отвратительно сделаны, даже эти инструменты из ВМ не работают

Yandex исправно обновляет страницы, но очень медленно. В выдачи еще куча старых..

В yandex можно еще поиграть со скоростью обхода, может это поможет. По умолчанию 3 запроса в секунду, попробую увеличить до 12.

Share this post


Link to post
Share on other sites
11 минуту назад, balboa сказал:

Yandex исправно обновляет страницы, но очень медленно. В выдачи еще куча старых..

В yandex можно еще поиграть со скоростью обхода, может это поможет. По умолчанию 3 запроса в секунду, попробую увеличить до 12.

Я не внимательно прочитал первое сообщение. В яндексе и гугле совершенно разные механизмы переиндексации сайта. Яндекс сначала сносит страницы по старому урлу, в следующий ап добавляет по новому. Так, например, при переезде на https, в этот межаповый промежуток возможно снижение трафика на сайт. Не для всех сайтов такой механизм работает, но для большинства. Гугл просто разово меняет урлы. Поэтому, если вопрос про гугл, то для него я бы вообще ничего не делал. Не особо принципиально, что страницы временно будут в выдаче по старому урлу

Share this post


Link to post
Share on other sites
В 01.06.2019 в 3:22 AM, balboa сказал:

Поделитесь опытом, как ускорить переиндексацию такого большого сайта?

Где то читал, что скорость индексации гуглом так же зависит и от посещаемости сайта. Т.е. если на сайте вы и вы с телефона, то и индексировать его год будут.

200 000 страниц, это многопрофильная доска объявлений?

diplomdistant likes this

Share this post


Link to post
Share on other sites
2 часа назад, Turin сказал:

Где то читал, что скорость индексации гуглом так же зависит и от посещаемости сайта. Т.е. если на сайте вы и вы с телефона, то и индексировать его год будут.

200 000 страниц, это многопрофильная доска объявлений?

Почти, каталог специалистов и услуг.

Share this post


Link to post
Share on other sites
10 часов назад, balboa сказал:

Почти, каталог специалистов и услуг.

Фриланс биржа? А движок какой, не тамара случайно?

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now

  • Recently Browsing   0 members

    No registered users viewing this page.