Jump to content
leonard

Проблема с ботами Mail.ru

Recommended Posts

Добрый день. В это теме https://talk.pr-cy.ru/topic/17394-apdejt-mailru-20150528/вопрос зацепил, прощу здесь помощи развернуто.

 

Вопрос адресован администраторам, людям работающим с ацеслогами сайтов.
Проблема с поисковыми пауками конкретно Майл.
 
1) Постоянно, четко четыре раза в час приходит паук Майла
 
Его юзер: Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; http://go.mail.ru/help/robots)
Сетка: 217.69.128.0 - 217.69.135.255
 
Приходит только этот бот, никаких других не видел уже несколько месяцев (хотя существуют другие пауки).
 
Сценарий: заходит, получает ответ 200, забирает сайтмап, уходит. 
 
Если удаляю сайтмап - сценарий не меняется - получает ответ 404 и продолжает ходить с той же периодичностью. После возвращения сайтмапа поведение прежнее.
 
Т.е. паук ходит по жесткому графику, долбит четко сайтмап, ничего больше.
 
2) Если видит в сайтмапе новую строку (новую страницу) поведение слегка меняется (паук тот же)
 
а) Забирает сайтмап, видит новую запись
б) Забирает роботс
в) забирает новую страницу
 
Дальше все идет по сценарию из пункта 1).
 
Ни картники, ничего более не забирается
 
3) Проблемы с 301 редиректом. Паук майла не ходит по 301 редиректу. 
 
Я изменил ряд урлов (давно), 301 стоит (проблем с 301 нет ни у Яндекса ни у Гугла, все ОК, проблема конкретно в Майле). В выдаче Майла стоят мои страницы со старыми урлами. Посетитель после перехода с Майла редиректится уже у меня.
 
4) Проблемы с пересканированием страниц. Т.е. никаких других пауков нет, обновление контента в Майле не происходит. Проблема началась в середине марта.
 
Суть проблемы. Майл изначально забирает новую страницу, индексирует, ранжирует. При внесении изменений у меня в старой странице, Майл не пересканирует ее страницу (т.к. забирает только сайтмап).
 
В чем легко убедиться, особенно владельцам интернет-магазинов, у которых на странице стоит дата доставки или еще какая либо дата. Можно посмотреть в кеше Майла и увидеть последнюю дату изменений страницы, которая была сосканирована.
 
Вижу две вероятные причины.
 
Первая. Поломался Майл. Написал в Майл. Отвечают долго. 
 
Вторая. Мой дата-центр банит часть пауков Майла до того как они дойдут до моего сайта и я увижу их в своих логах. Пробивается только один. Дата центр утверждает, что ничего Майловского не банит.
 
Третья причина - на моей стороне маловероятна - пауки Гугла, Яндекса, Бинга забирают новый, обновляют старый контент, ходят по 301 редиректу.
 
Прощу помощи знатоков.
 
Посмотрите пож-та свои ацеслоги кто может. У вас картина аналогична моей или все ОК? 
 
Важно понять где проблема - в Майле или дата центре. Трафик с Майла идет небольшой (5%), но руководство требует разобраться именно в причинах почему контент в Майле не обновляется. Причем руководство технически подкованное, требует разъяснений почему Майл берет только сайтмап.
 
Буду бескрайне благодарен за любую помощь, информацию или совет. Спасибо!

Share this post


Link to post
Share on other sites

Все у вас нормально. Переиндексация происходит реже, чем индексация новых страниц.

Обратите внимание на имя бота

Mail.RU_Bot/Fast/2.0

Share this post


Link to post
Share on other sites

Все у вас нормально. Переиндексация происходит реже, чем индексация новых страниц.

Это понятно. Но чтобы прошла переиндексация, новый контент нужно забрать. Речь конкретно о том, что Майл уже ТРИ месяца ничего кроме сайтмапа не забирает. Соотвественно и не будет никакой переиндексации.

Share this post


Link to post
Share on other sites

Это понятно. Но чтобы прошла переиндексация, новый контент нужно забрать. Речь конкретно о том, что Майл уже ТРИ месяца ничего кроме сайтмапа не забирает. Соотвественно и не будет никакой переиндексации.

Вы в поиске проверяли, что переиндексация не происходит?

Share this post


Link to post
Share on other sites

Вы в поиске проверяли, что переиндексация не происходит?

Я вижу в ацесслоге все что у меня происходит на сайте. Логично, что раз нет бота, значит и контент не обновлялся. В любом случае, да, проверял. Последнее актуальное обновление поиска Майла примерно середина марта.

Share this post


Link to post
Share on other sites

Это понятно. Но чтобы прошла переиндексация, новый контент нужно забрать. Речь конкретно о том, что Майл уже ТРИ месяца ничего кроме сайтмапа не забирает. Соотвественно и не будет никакой переиндексации.

 

Может вопрос и глупый, с моей стороны, но всё же: а сайтмап у Вас обновляется? С какой периодичностью? (может бот видит, что нет обновления в сайтмап , вот и не забирает новый контент?)

Share this post


Link to post
Share on other sites

Я вижу в ацесслоге все что у меня происходит на сайте. Логично, что раз нет бота, значит и контент не обновлялся. В любом случае, да, проверял. Последнее актуальное обновление поиска Майла примерно середина марта.

https://help.mail.ru/webmaster/cabinet/info/refresh

Share this post


Link to post
Share on other sites

 

 

руководство требует разобраться именно в причинах почему контент в Майле не обновляется. Причем руководство технически подкованное, требует разъяснений почему Майл берет только сайтмап.

 

свят свят от такого руководства

Share this post


Link to post
Share on other sites

Может вопрос и глупый, с моей стороны, но всё же: а сайтмап у Вас обновляется? С какой периодичностью? (может бот видит, что нет обновления в сайтмап , вот и не забирает новый контент?)

Да сайтмап обновляется согласно всех требований. При добавлении новых и изменеии старых страниц все ОК.  Проблемы только с Майлом, который как раз кроме сайтмапа ничего и не берет. И вообще должен уметь жить без сайтмапа, вытягивая контент, скажем по внутренней перелинковке (которая тоже присутствует).

Share this post


Link to post
Share on other sites

Все у вас нормально. Переиндексация происходит реже, чем индексация новых страниц.

Обратите внимание на имя бота

Mail.RU_Bot/Fast/2.0

Да вы правы. Есть другой бот, у которого нет суффикса Фаст. Однако проблема как раз в том, что никаких иных кроме этого не приходит а этот когда приходит, забирает только сайтмап.

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...