Число ошибок, при обходе роботом увеличилось более чем на 50 %

[AlexBrush 275]

пришло письмо с Яндекса следующего содержания..

 

Здравствуйте, Александр!

Число ошибок, возникших при обходе сайта biznes-mama.kz роботом Яндекса, увеличилось более чем на 50%. Подробности вы можете узнать на странице..

 

Перешел по указанной странице и вижу что действительно многие страницы запрещены, и даже просто статьи. При последнем изменении робота запретил ток /feed и /tags

 

Не могу понять откуда запрет.. Собственно речь о сайте что у меня в подписи. Вот содержание роботса, движок вордпресс

 

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /tag/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /tag/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

 

Host: biznes-mama.kz

 

Скрин с ЯВ. Как можно заметить помимо */feed попали обычные страницы со статьями. Не могу понять в чем причина. Кто сталкивался, помогите!

[mojo 79]

С robots.txt проблем нет. Проверил пару ссылок через https://webmaster.yandex.ua/robots.xml#results- все разрешены.

Какое сообщение значиться на странице https://webmaster.yandex.ua/site/errors.xml? Может быть сайт был недоступен.

[GladWeb 1433]

А можете объяснить, зачем вам 2 одинаковых юзерагента: User-agent  ? 

[AlexBrush 275]

А можете объяснить, зачем вам 2 одинаковых юзерагента: User-agent  ? 

Хз. привычка такая отдельно общее и отдельно яндексу указывать)

 

 

С robots.txt проблем нет. Проверил пару ссылок через https://webmaster.yandex.ua/robots.xml#results- все разрешены.

Какое сообщение значиться на странице https://webmaster.yandex.ua/site/errors.xml? Может быть сайт был недоступен.

Исключённые страницы → Ошибки на стороне сервера или сайта

HTTP-статус: Доступ к ресурсу запрещён (403)

Доступ к документу запрещен (получен код 403 Forbidden). На запрос страниц ваш сервер вернул роботу HTTP-код 403. Если вы намеренно ограничили доступ к этим страницам, то исправлять ничего не требуется.

Если данные страницы должны индексироваться, то по вопросу возникновения и устранения этой проблемы, пожалуйста, обратитесь к администратору вашего сайта или сервера.

Дату возникновения ошибки вы можете видеть напротив каждой исключенной страницы в графе «Последнее посещение». Если с момента последнего обращения робота страницы вновь стали доступными (возвращают HTTP-код-200), то они автоматически будут проиндексированы по мере обхода сайта, после чего появятся в поиске с обновлениями поисковых баз.

 

На стороне сервера вряд ли. с этим хостингом работаю уже больше 4 лет и на остальных же сайтах, которые расположены там же нет такого.. 

 

Так где 190 в основном теги которые я вообще удалил с сайта все и для надежности закрыл. а там где 106 и метки и feed и норм страницы появились, как старые так и добавленные пару недель назад. Несколько заходов робота на сайт высвечивали мне всего одну такую ошибку 403, потом резко 43 и вот сразу 106 после очередного посещения сайта роботом.

 

У меня были раньше открыты и метки и feed, что в итоге наделало в 5-6 раз больше страниц сайта в индексе, чем самих статей. статей около 100 было, а в индексе около 550. Скорее всего из-за это я чуть больше месяца назад поймал АГС. Закрытие всего ненужно + письмо в яндекс и через неделю АГС сняли. Страницы вылетели ненужные и в индексе яндекса сейчас чуть меньше число чем опубликованных статей. Вроде все хорошо шло и нет же эта ошибка..

[mojo 79]

Проверьте несколько проблемных страниц через https://webmaster.yandex.ua/server-response.xml

Если везде будет корректный ответ, то мне видятся три возможные причины:

-глюк яндекса;

-при запрещении feed, вы где-то заблокировали и другие подкаталоги, либо был прописан запрет на доступ роботу yandex (как вернулось назад не представляю);

-глюк у провайдера.

В любом случае, сейчас всё работает и количество страниц с 403 ошибкой будет стремиться к нулю.

[krutovgerman2007 3]

Та же проблема с сайтом vse-krugom.ru. Буквально за 3 дня вылетело из индекса 1260 страниц (в настройках абсолютно ничего не менял) =(

 

Написал в форму обратной связи в ЯндексюВебмастере, пока ответа нет. Может у кого есть идеи, из-зач его это еще может быть (все вышеописанное проверил, хостинг хороший: reg.ru)?

 

[AlexBrush 275]

Та же проблема с сайтом vse-krugom.ru. Буквально за 3 дня вылетело из индекса 1260 страниц (в настройках абсолютно ничего не менял) =(

 

Написал в форму обратной связи в ЯндексюВебмастере, пока ответа нет. Может у кого есть идеи, из-зач его это еще может быть (все вышеописанное проверил, хостинг хороший: reg.ru)?

 

у меня снизилось до 23, сейчас снова выросло до 54.

[files 2838]

В идеале, число страниц в поиске Яндекса должно быть равно числу страниц на сайте...

Все предупреждения в панели Яндекса - предупреждения о мусоре, которого у ВП очень много.

То есть, стоит поднимать кипишь, если число страниц в Яндексе меньше чем фактически на сайте!

 

Согласно скрину, у вас возросло число страниц с тегом ноиндекс. Такие теги встраивают сео-плагины, типа Алл ин Сео Пак и т.д. Нужно внимательно проверить (в его настройках), что именно он запретил не то!

 

P.S. С другой стороны, в списке Яндекса вполне рядовые статьи вижу. Такое иногда бывает, если сайт был недоступен во время очередного обхода.

[krutovgerman2007 3]

В идеале, число страниц в поиске Яндекса должно быть равно числу страниц на сайте...

Все предупреждения в панели Яндекса - предупреждения о мусоре, которого у ВП очень много.

То есть, стоит поднимать кипишь, если число страниц в Яндексе меньше чем фактически на сайте!

 

Согласно скрину, у вас возросло число страниц с тегом ноиндекс. Такие теги встраивают сео-плагины, типа Алл ин Сео Пак и т.д. Нужно внимательно проверить (в его настройках), что именно он запретил не то!

 

P.S. С другой стороны, в списке Яндекса вполне рядовые статьи вижу. Такое иногда бывает, если сайт был недоступен во время очередного обхода.

 

У меня появились ошибки именно 403. Как будто они были недоступны. Хотя согласно мониторингу сайт работал стабильно

[GArthurK 21]

Я это наблюдаю в гугл вебмастере. Хостинг такой. Я работал с хостингом reg. Проблем не было.

[krutovgerman2007 3]

Да, в Гугл.Вебмастере тоже самое. Очень много страниц с ошибкой 403. Хотя согласно гуглу, многие ошибки уже иправлены. По всей видимости, причина в хостинге. Написал им такой запрос с просьбой обьяснить, почему так. Посмотрим, что ответят.

[krutovgerman2007 3]

Рег.ру меня разочаровал.

 

Я им написал:

 

 Добрый день. Тех. поддержка яндекса написала, что сайт отвечал роботу ошибкой 403.

 ------------

 Ранее на запрос страниц Вашего сайта Ваш сервер возвращал роботу HTTP код 403, в связи с этим они не были проиндексированы и сейчас не участвуют в поиске. Для выяснения причин

 такой ситуации Вы можете обратиться к администратору сервера, на котором находится Ваш сайт. Например, проблема наблюдалась при запросе страниц в следующие моменты:

 http://vse-krugom.ru/tag/cilindr/08.05.15 в 00:28

 http://vse-krugom.ru/ofis-twitter-v-san-francisko/08.05.15 в 00:28

 ------------

 

 У меня из-за этого вылетело более 1260 страниц из поиска. Можете пояснить, что это было?

 

 

Они ответили:

 

Здравствуйте!

 

К сожалению, с нашей стороны не сохранились логи за 8 мая. Логи веб-сервера хранятся на сервере в течение 7 дней. Пожалуйста, уточните наличие проблемы в данный момент. Также рекомендуем пронаблюдать за состоянием сайта и при наличии проблемы сообщить в рамках данной проблемы, указав точное московское время.

 

--

Спасибо! http://spasibo.reg.ru

 

 

А последняя ошибка в панеле яндекса была 8 числа.

 

Тупик, в общем =(

[gipnomag 0]

у меня на старом заброшеном юкоз кинотеатре, яша 50 процентов ошибок высмотрел, даже не знаю что там такое случилось, наверно сервера юкоза в очередной раз легли

[AlexBrush 275]

Приветствуем. Новоиспеченного гуру!) из 5ти возможных сообщений отписался по разным темам и сделал мое утро на фору сплошь подмигивающим) Приостанови пыл чувак, отвечай реже и по делу, в чем разбираешься, а не лишь бы кинуть пару фраз чтобы заметили..