Jump to content
Sign in to follow this  
Kolbasa

Робот Яндекса Идиот

Recommended Posts

Здраствуйте, у меня такая проблема на сайте юкоз постоянно робот яндекса находит какие то битые ссылки и закидует их в "Исключенно роботом" и получается ошибка 403-404.

 

Вот например:

 

Сначало он ко всем файлам приписал 6 единиц ну я уже нашел ошибку, это было за то что я в блоке разместил не верный код баннера из-за чего и поставил запрет в robots.txt такое было со 600 файлами осталось, уже около 70 он еще не все выкинул от туда. Вот скрин - http://rghost.ru/59437163

 

После робот нашел такие ссылки еще вот скрин - http://rghost.ru/59437207

Скриншоты не какие на сайте не удалял. Поставил запрет тоже на "/_ld/".

 

Далее у меня в robots.txt не было прописано запрета на /abnl/ тоже появилась ошибка 2 ссылки я поставил запрет их уже выкинуло.

 

Сегодня был аппдейт захожу в "Исключено роботом" и смотрю что страницы последние штук 70 было он не выкинул их, а добавил наоборот парочку, смотрю что робот 26.11 еще обнаружил какие то битую ссылку вот скрин - http://rghost.ru/59437345 я нечего даже не удалял и не знаю что это. Как появилась ошибка первый раз с шестью единицами у меня - 3000 посетителей с яндекса и по сегодняйшний день с него только заходит до 100 посетителей. После начались постоянные ошибки что находит и Исключает робот! На сайт купил много жирных ссылок вечных до этого, да и еще в этом месяце 2 купил, добавляю уникальные файлы, ну все делаю во общем как надо. Дайте какой то совет что делать и почему он придрался так к моему сайту? Я не успеваю запреты ставить на разную херню, как появляется что то новенькое. 

Share this post


Link to post
Share on other sites

Робот по определению не может быть идиотом - он работает исключительно благодаря машинной логике.

А вот то, что у вас насайте появляются ошибки стоит задуматься и не валить всё на Яндекс, просто как вариант свалить на другой платный хостинг. (имхо)

 

P.S. сейчас прошелся по сайту программкой xenu - чего и вам желаю сделать.

Share this post


Link to post
Share on other sites

Робот по определению не может быть идиотом - он работает исключительно благодаря машинной логике.

А вот то, что у вас насайте появляются ошибки стоит задуматься и не валить всё на Яндекс, просто как вариант свалить на другой платный хостинг. (имхо)

нет такой вариант мне не подходит, не куда я сваливать не буду.

Share this post


Link to post
Share on other sites

Робот по определению не может быть идиотом - он работает исключительно благодаря машинной логике.

А вот то, что у вас насайте появляются ошибки стоит задуматься и не валить всё на Яндекс, просто как вариант свалить на другой платный хостинг. (имхо)

.....Где вы (тс) сможете контролировать все , а не латать то что глючит запретами .

Share this post


Link to post
Share on other sites

Укоз недавно ддосили, сайты не отвечали многие, сам много раз натыкался, на недоступные сайты. Попробуйте перейти на VIP тариф.

Share this post


Link to post
Share on other sites

Знаете что такое Timeout?  на сайте однозначно есть ошибки сервака .. а вот то что при запросе робота сервер дал слишком долгий ответ в результате чего робот просто не нашел страницу сервака очень вероятно .. так как тоже самое сделав щас после 50 процентов проверки дофига страниц дало тайм аут... 

Share this post


Link to post
Share on other sites

Яндекс берет только те ссылки которые видит. Значит где-то у вас есть лазейка с добавлением левых данных к урлу

Share this post


Link to post
Share on other sites

Знаете что такое Timeout?  на сайте однозначно есть ошибки сервака .. а вот то что при запросе робота сервер дал слишком долгий ответ в результате чего робот просто не нашел страницу сервака очень вероятно .. так как тоже самое сделав щас после 50 процентов проверки дофига страниц дало тайм аут... 

не знаю у меня timeout не показывает, да и вроде сайт постоянно мой работал я не видел чтоб он выключен был или еще что то. У меня есть 2 сайт вот там timeout часто бывает, может даже из-за ддоса. Но с этим сайтом я такое не наблюдал не когда, так как он был создан давненько и сервера другие, обычно приколы идут на новых сайтах у меня лично так.

Share this post


Link to post
Share on other sites

ну вот сайтик и лег .. о чем тогда вопрос 

у меня все отлично работает и быстро грузится, сделайте трассировку сайта. Мне кажется это только у вас такой бред.

Share this post


Link to post
Share on other sites

не знаю у меня timeout не показывает, да и вроде сайт постоянно мой работал я не видел чтоб он выключен был или еще что то. У меня есть 2 сайт вот там timeout часто бывает, может даже из-за ддоса. Но с этим сайтом я такое не наблюдал не когда, так как он был создан давненько и сервера другие, обычно приколы идут на новых сайтах у меня лично так.

ну он щас уже не работает .. 

Share this post


Link to post
Share on other sites

То что Яндекс выёживается - да. Есть за ним такой грешок.

Но не стоит спихивать на него косяки своего сайта.

В данном случае ето точно,под 500 общих ошибок по сайту

https://yadi.sk/i/wt1_g9JYdB7i6

https://yadi.sk/i/81ONfJPQdB7na

Share this post


Link to post
Share on other sites

Kolbasa

Вы однако очень упрямый, вам уже несколько человек отписало, что с вашим сайтам проблемы у вашего хостинга лимиты "под завязку" закручены. Чуть возрастает обращение к страницам и вот уже сайт даёт timeaut.

И да я вам не зря написал про Xenu. Проверьте сайт на ошибки, программа то бесплатная...

 

Единственный ваш выход это смена хостера и переезд на платную площадку всё остальное  - зря потраченное время, хотя дело конечно ваше.

Share this post


Link to post
Share on other sites

В данном случае ето точно,под 500 общих ошибок по сайту

https://yadi.sk/i/wt1_g9JYdB7i6

https://yadi.sk/i/81ONfJPQdB7na

короче я так понял нужно со всеми скриншотами писать в поддержку юкоза? У меня сайт лично грузится и работает отлично, вот сделал трассировку только что и получилось вот что - http://rghost.ru/59438074

Share this post


Link to post
Share on other sites

короче я так понял нужно со всеми скриншотами писать в поддержку юкоза? У меня сайт лично грузится и работает отлично, вот сделал трассировку только что и получилось вот что - http://rghost.ru/59438074

ну попробуйте кэш удалить у себя .. у вас же на скринах показано что обмен 4 пакетами доставлено 0 

Share this post


Link to post
Share on other sites

Сервак поднимется возьмете в руки например XENU и она вам покажет все ошибки 500 и страницы когда тайм аут сервак дает 

я понял спасибо, если можно киньте ссылку на эту программу рабочую которой пользуетесь именно вы. Буду тогда писать в тех. поддержку и грузить их, а то с гугла посетители прут, а с яши нет, тоже как то не нормально.

Share this post


Link to post
Share on other sites

а запрет  "/_ld/" лучше убрать?

 

Как сайт станет доступен напишу в тех. поддержку Ucoz. Это просто Жоп***, всем кто помог спасибо ребята.

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...