Jump to content

Число ошибок, при обходе роботом увеличилось более чем на 50 %


Recommended Posts

пришло письмо с Яндекса следующего содержания..

 

Здравствуйте, Александр!

Число ошибок, возникших при обходе сайта biznes-mama.kz роботом Яндекса, увеличилось более чем на 50%. Подробности вы можете узнать на странице..

 

Перешел по указанной странице и вижу что действительно многие страницы запрещены, и даже просто статьи. При последнем изменении робота запретил ток /feed и /tags

 

Не могу понять откуда запрет.. Собственно речь о сайте что у меня в подписи. Вот содержание роботса, движок вордпресс

 

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /tag/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /tag/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

 

Host: biznes-mama.kz

 

Скрин с ЯВ. Как можно заметить помимо */feed попали обычные страницы со статьями. Не могу понять в чем причина. Кто сталкивался, помогите!

sAb-X2bOpHQ.jpg

Link to post
Share on other sites

С robots.txt проблем нет. Проверил пару ссылок через https://webmaster.yandex.ua/robots.xml#results- все разрешены.

Какое сообщение значиться на странице https://webmaster.yandex.ua/site/errors.xml? Может быть сайт был недоступен.

Link to post
Share on other sites

А можете объяснить, зачем вам 2 одинаковых юзерагента: User-agent  ? 

Хз. привычка такая отдельно общее и отдельно яндексу указывать)

 

 

С robots.txt проблем нет. Проверил пару ссылок через https://webmaster.yandex.ua/robots.xml#results- все разрешены.

Какое сообщение значиться на странице https://webmaster.yandex.ua/site/errors.xml? Может быть сайт был недоступен.

Исключённые страницы → Ошибки на стороне сервера или сайта

HTTP-статус: Доступ к ресурсу запрещён (403)

Доступ к документу запрещен (получен код 403 Forbidden). На запрос страниц ваш сервер вернул роботу HTTP-код 403. Если вы намеренно ограничили доступ к этим страницам, то исправлять ничего не требуется.

Если данные страницы должны индексироваться, то по вопросу возникновения и устранения этой проблемы, пожалуйста, обратитесь к администратору вашего сайта или сервера.

Дату возникновения ошибки вы можете видеть напротив каждой исключенной страницы в графе «Последнее посещение». Если с момента последнего обращения робота страницы вновь стали доступными (возвращают HTTP-код-200), то они автоматически будут проиндексированы по мере обхода сайта, после чего появятся в поиске с обновлениями поисковых баз.

 

На стороне сервера вряд ли. с этим хостингом работаю уже больше 4 лет и на остальных же сайтах, которые расположены там же нет такого.. 

 

Так где 190 в основном теги которые я вообще удалил с сайта все и для надежности закрыл. а там где 106 и метки и feed и норм страницы появились, как старые так и добавленные пару недель назад. Несколько заходов робота на сайт высвечивали мне всего одну такую ошибку 403, потом резко 43 и вот сразу 106 после очередного посещения сайта роботом.

rJIG4M6rENI.jpg

 

У меня были раньше открыты и метки и feed, что в итоге наделало в 5-6 раз больше страниц сайта в индексе, чем самих статей. статей около 100 было, а в индексе около 550. Скорее всего из-за это я чуть больше месяца назад поймал АГС. Закрытие всего ненужно + письмо в яндекс и через неделю АГС сняли. Страницы вылетели ненужные и в индексе яндекса сейчас чуть меньше число чем опубликованных статей. Вроде все хорошо шло и нет же эта ошибка..

Link to post
Share on other sites

Проверьте несколько проблемных страниц через https://webmaster.yandex.ua/server-response.xml

Если везде будет корректный ответ, то мне видятся три возможные причины:

-глюк яндекса;

-при запрещении feed, вы где-то заблокировали и другие подкаталоги, либо был прописан запрет на доступ роботу yandex (как вернулось назад не представляю);

-глюк у провайдера.

В любом случае, сейчас всё работает и количество страниц с 403 ошибкой будет стремиться к нулю.

Link to post
Share on other sites
  • 3 weeks later...

Та же проблема с сайтом vse-krugom.ru. Буквально за 3 дня вылетело из индекса 1260 страниц (в настройках абсолютно ничего не менял) =(

 

Написал в форму обратной связи в ЯндексюВебмастере, пока ответа нет. Может у кого есть идеи, из-зач его это еще может быть (все вышеописанное проверил, хостинг хороший: reg.ru)?

 

%D0%A1%D0%BD%D0%B8%D0%BC%D0%BE%D0%BA.png

Link to post
Share on other sites

Та же проблема с сайтом vse-krugom.ru. Буквально за 3 дня вылетело из индекса 1260 страниц (в настройках абсолютно ничего не менял) =(

 

Написал в форму обратной связи в ЯндексюВебмастере, пока ответа нет. Может у кого есть идеи, из-зач его это еще может быть (все вышеописанное проверил, хостинг хороший: reg.ru)?

 

%D0%A1%D0%BD%D0%B8%D0%BC%D0%BE%D0%BA.png

у меня снизилось до 23, сейчас снова выросло до 54.

Link to post
Share on other sites
  • Модератор

В идеале, число страниц в поиске Яндекса должно быть равно числу страниц на сайте...

Все предупреждения в панели Яндекса - предупреждения о мусоре, которого у ВП очень много.

То есть, стоит поднимать кипишь, если число страниц в Яндексе меньше чем фактически на сайте!

 

Согласно скрину, у вас возросло число страниц с тегом ноиндекс. Такие теги встраивают сео-плагины, типа Алл ин Сео Пак и т.д. Нужно внимательно проверить (в его настройках), что именно он запретил не то!

 

P.S. С другой стороны, в списке Яндекса вполне рядовые статьи вижу. Такое иногда бывает, если сайт был недоступен во время очередного обхода.

Link to post
Share on other sites

В идеале, число страниц в поиске Яндекса должно быть равно числу страниц на сайте...

Все предупреждения в панели Яндекса - предупреждения о мусоре, которого у ВП очень много.

То есть, стоит поднимать кипишь, если число страниц в Яндексе меньше чем фактически на сайте!

 

Согласно скрину, у вас возросло число страниц с тегом ноиндекс. Такие теги встраивают сео-плагины, типа Алл ин Сео Пак и т.д. Нужно внимательно проверить (в его настройках), что именно он запретил не то!

 

P.S. С другой стороны, в списке Яндекса вполне рядовые статьи вижу. Такое иногда бывает, если сайт был недоступен во время очередного обхода.

 

У меня появились ошибки именно 403. Как будто они были недоступны. Хотя согласно мониторингу сайт работал стабильно :(

Link to post
Share on other sites

Да, в Гугл.Вебмастере тоже самое. Очень много страниц с ошибкой 403. Хотя согласно гуглу, многие ошибки уже иправлены. По всей видимости, причина в хостинге. Написал им такой запрос с просьбой обьяснить, почему так. Посмотрим, что ответят.

Link to post
Share on other sites

Рег.ру меня разочаровал.

 

Я им написал:

 

 Добрый день. Тех. поддержка яндекса написала, что сайт отвечал роботу ошибкой 403.
 ------------
 Ранее на запрос страниц Вашего сайта Ваш сервер возвращал роботу HTTP код 403, в связи с этим они не были проиндексированы и сейчас не участвуют в поиске. Для выяснения причин
 такой ситуации Вы можете обратиться к администратору сервера, на котором находится Ваш сайт. Например, проблема наблюдалась при запросе страниц в следующие моменты:
 ------------
 
 У меня из-за этого вылетело более 1260 страниц из поиска. Можете пояснить, что это было?

 

 

Они ответили:

 

Здравствуйте!
 
К сожалению, с нашей стороны не сохранились логи за 8 мая. Логи веб-сервера хранятся на сервере в течение 7 дней. Пожалуйста, уточните наличие проблемы в данный момент. Также рекомендуем пронаблюдать за состоянием сайта и при наличии проблемы сообщить в рамках данной проблемы, указав точное московское время.
 
--
Спасибо! http://spasibo.reg.ru

 

 

А последняя ошибка в панеле яндекса была 8 числа.

 

Тупик, в общем =(

Link to post
Share on other sites

у меня на старом заброшеном юкоз кинотеатре, яша 50 процентов ошибок высмотрел, даже не знаю что там такое случилось, наверно сервера юкоза в очередной раз легли :)

Link to post
Share on other sites

Приветствуем. Новоиспеченного гуру!) из 5ти возможных сообщений отписался по разным темам и сделал мое утро на фору сплошь подмигивающим) Приостанови пыл чувак, отвечай реже и по делу, в чем разбираешься, а не лишь бы кинуть пару фраз чтобы заметили..

 

SD0VbQoZROo.jpg

Link to post
Share on other sites

Please sign in to comment

You will be able to leave a comment after signing in



Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...