Jump to content

Переобход сайта поисковыми ботами


Recommended Posts

Всем привет

Есть сайт на 200 тыс. страниц.

На сайте произошли массовые изменения, как в коде так и url.

Для url настроен 301 редирект старый -> новый

Прошло уже 20 дней, но в поиске обновилось ~7-10%. На сайте есть быстробот yandex и он мгновенно добавляет новые страницы.

В yandex отправляю страницы на переобход, но там ограничения, всего 20 стр. в сутки. В google теперь совсем нет инструментов, только sitemap.xml

Поделитесь опытом, как ускорить переиндексацию такого большого сайта?

twitter и др. соц. сети еще работают?

Link to post
Share on other sites
В 01.06.2019 в 2:22 AM, balboa сказал:

... . В google теперь совсем нет инструментов, только sitemap.xml. 

 

Почему же нет, очень даже есть, в новой Google Search Consol.

5cf3812a803f3_googlesearchconsol.thumb.jpg.650ed203562701d37b0b9d5850b203f1.jpg

Только сложно такое количество страниц отправить на переиндексацию!)) 

Link to post
Share on other sites
5 часов назад, LoGen сказал:

Почему же нет, очень даже есть, в новой Google Search Consol.

5cf3812a803f3_googlesearchconsol.thumb.jpg.650ed203562701d37b0b9d5850b203f1.jpg

Только сложно такое количество страниц отправить на переиндексацию!)) 

Да, но ранее в google было 2 варианта, оправить на переобход:

1) только 1 страницу (до 500 стр. в сутки)

2) 1 страницу и все ссылки на странице. (до 10 в сутки)

Т.е ранее, я бы отправлял google робота каждый день на 10 разных разделов и за неделю 60-70% новых страниц, было бы уже в индексе.

Жаль что ПС все еще привыкли, что сайты должны быть визитками на 10-20 стр. и не думают о больших проектах)

Link to post
Share on other sites
21 минуту назад, balboa сказал:

Жаль что ПС все еще привыкли, что сайты должны быть визитками на 10-20 стр. и не думают о больших проектах)

Они думают и о больших проектах, просто у ботов работы много. Поэтому есть такое понятие, как "краулинговый бюджет". Хотя я вроде недавно где-то читал, что гугл его сильно увеличил, а может мне и приснилось. Чтобы ПС быстро индексировали сайты, они должны быть как минимум без ошибок, дублей и быстро отвечать. На сайтах, которые отвратительно сделаны, даже эти инструменты из ВМ не работают

Link to post
Share on other sites
29 минут назад, petroff сказал:

Они думают и о больших проектах, просто у ботов работы много. Поэтому есть такое понятие, как "краулинговый бюджет". Хотя я вроде недавно где-то читал, что гугл его сильно увеличил, а может мне и приснилось. Чтобы ПС быстро индексировали сайты, они должны быть как минимум без ошибок, дублей и быстро отвечать. На сайтах, которые отвратительно сделаны, даже эти инструменты из ВМ не работают

Yandex исправно обновляет страницы, но очень медленно. В выдачи еще куча старых..

В yandex можно еще поиграть со скоростью обхода, может это поможет. По умолчанию 3 запроса в секунду, попробую увеличить до 12.

Link to post
Share on other sites
11 минуту назад, balboa сказал:

Yandex исправно обновляет страницы, но очень медленно. В выдачи еще куча старых..

В yandex можно еще поиграть со скоростью обхода, может это поможет. По умолчанию 3 запроса в секунду, попробую увеличить до 12.

Я не внимательно прочитал первое сообщение. В яндексе и гугле совершенно разные механизмы переиндексации сайта. Яндекс сначала сносит страницы по старому урлу, в следующий ап добавляет по новому. Так, например, при переезде на https, в этот межаповый промежуток возможно снижение трафика на сайт. Не для всех сайтов такой механизм работает, но для большинства. Гугл просто разово меняет урлы. Поэтому, если вопрос про гугл, то для него я бы вообще ничего не делал. Не особо принципиально, что страницы временно будут в выдаче по старому урлу

Link to post
Share on other sites
В 01.06.2019 в 3:22 AM, balboa сказал:

Поделитесь опытом, как ускорить переиндексацию такого большого сайта?

Где то читал, что скорость индексации гуглом так же зависит и от посещаемости сайта. Т.е. если на сайте вы и вы с телефона, то и индексировать его год будут.

200 000 страниц, это многопрофильная доска объявлений?

Link to post
Share on other sites
2 часа назад, Turin сказал:

Где то читал, что скорость индексации гуглом так же зависит и от посещаемости сайта. Т.е. если на сайте вы и вы с телефона, то и индексировать его год будут.

200 000 страниц, это многопрофильная доска объявлений?

Почти, каталог специалистов и услуг.

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...