Sign in to follow this  
Followers 0
cat7

Блокировка URL google

13 posts in this topic

В декабре сайт был полностью заблокирован в robots.txt. В начале февраля доступ в файле был разрешен. Но в течении месяца ситуация с поисковой выдачей не изменилась. Google считает что URL до сих пор блокированы, хотя сам в инструментах вебмастера мне показывает что в robots.txt все окей, но URL блокирует. Пару дней назад добавил вручную URL, в течении дня URL корректно появился в поисковой выдаче, но сегодня при запросе этого URL через команду "site:", в сниппете Google пишет что "Описание веб-страницы недоступно из-за ограничений в файле robots.txt" . Как боротся с данной проблемой?

Share this post


Link to post
Share on other sites

В декабре сайт был полностью заблокирован в robots.txt. В начале февраля доступ в файле был разрешен. Но в течении месяца ситуация с поисковой выдачей не изменилась. Google считает что URL до сих пор блокированы, хотя сам в инструментах вебмастера мне показывает что в robots.txt все окей, но URL блокирует. Пару дней назад добавил вручную URL, в течении дня URL корректно появился в поисковой выдаче, но сегодня при запросе этого URL через команду "site:", в сниппете Google пишет что "Описание веб-страницы недоступно из-за ограничений в файле robots.txt" . Как боротся с данной проблемой?

 

Здравствуйте. Была данная проблема и у меня (только там со сменой домена), помогло время и терпение, ждите, читайте информацию в интернете.

Share this post


Link to post
Share on other sites

Здравствуйте. Была данная проблема и у меня (только там со сменой домена), помогло время и терпение, ждите, читайте информацию в интернете.

И сколько времени у вас ушло на решение такой проблемы? Какие-то методы применяли для ускорения решения проблемы?

Share this post


Link to post
Share on other sites

И сколько времени у вас ушло на решение такой проблемы? Какие-то методы применяли для ускорения решения проблемы?

 

Около месяца. Ничего не предпринимал, просто ждал пока робот обновит данные, он просто редко видимо читает robots.txt, все еще думает что ваш сайт недоступен.

P.S. видел случаи, когда гугл индексировал страницы под запретом.

Share this post


Link to post
Share on other sites

я недавно купила сайтик маленький, он оказался под фильтром полностью. я долго понять не могла, а потом просто увидела причину ) косая я  короче ) я подавала прошение и теперь все нормально. по мне так гугл вообще принципиально кладет на роботс и индексирует так, как ему хочется.

Share this post


Link to post
Share on other sites

ТС, с ваших слов не совсем все понятно: у вас Гугль не хочет сайт индексировать или отдельные страницы?

Поскольку ваш сайт прекрасно представлен в поисковой выдаче Гугля и хорошо там сидит.

 

Из числа написавших в теме, кто-нибудь пробовал проверить слова ТС?

Share this post


Link to post
Share on other sites

ТС, с ваших слов не совсем все понятно: у вас Гугль не хочет сайт индексировать или отдельные страницы?

Поскольку ваш сайт прекрасно представлен в поисковой выдаче Гугля и хорошо там сидит.

 

Из числа написавших в теме, кто-нибудь пробовал проверить слова ТС?

Была изменена структура, созданно порядка 35000-40000 новых страниц с товарами. И эти новые страницы не индексируются в течении месяца. Т.е. те что там есть, из раздела /shop/ и которые новые на пальцах можно пересчитать. А старые (были не в разделе /shop/) ведут на 404, вот их гугл потихоньку исключает и старых тоже было порядка 25000-30000. Скорей всего я не правильно провел обновление страниц для поисковиков. Вопрос касается индексации отдельных страниц в немаленьком количестве. И как я описал выше ситуацию, сначала в robots.txt закрыл индексацию всего сайта, месяц назад разрешил. В гугл-вебмастер мне пишет что у меня блокируется 600000 страниц. И пару дней назад добавил вручную страницы в гугл и вчера проверив эти страницы через команду "site" получил в сообщение что она блокируется в robots.txt. Наример эта страница  Буду благодарен за советы, подсказки или отсылку на ресурсы где про это можно почитать.

Share this post


Link to post
Share on other sites

Начните с того, что откройте страницу Заблокированные URL в Инструментах для веб-мастеров (чтобы просмотреть список URL, которые Google не удалось просканировать якобы из-за robots.txt).

 

 

На втором этапе запустите Инструмент Проверка файла robots.txt, который показывает, не блокирует ли он доступ поискового робота Googlebot к файлам и каталогам вашего сайта и не разрешает ли сканирование файлов, которые не должны появляться в Интернете (не смотрите это через результаты поиска, где они могут быть с опозданием в 90 дней).

 

 

Если здесь у вас все хорошо, то отправьте сайт на быстрое сканирование - http://seo-zona.ru/vstrechajte-mgnovennaya-indeksaciya-stranic-v-google-2013-11-24.html (указав урл своего обновленного раздела и выберите для Googlebot опцию добавить URL и все связанные страницы).

 

Также рекомендую (при возможности) оставить на этот раздел парочку ссылок с других быстроиндексируемых сайтов. Процедура вогнать новый раздел на сайте аналогична принудительной индексации нового сайта.

 

И последнее: наберитесь терпения. Запрещенные к индексации и закешированные страницы вправе находится в индексе Гугля до 90 дней с момента их удаления/запрета и т.д. Так что, думаю, вы просто торопите события.

Share this post


Link to post
Share on other sites

Мне кажется, что сейчас гугл стал еще более тупым и тормозным, чем яндекс. Простыл, что ли? Или весна, авитаминоз?

 

Новый сайт, всего месяц. Точнее, сайт старый, домен новый. Не стал изгаляться с миграциями, старый сайт закрыл, удалил как факт, кроме 404->410. В конце концов, от внешних ссылок с 20 сайтов, 10 тИЦ и 2 PR не облезу. Тем более, при смене произошла практически полная смена структуры, при миграции с такими кондебоберами вообще выпасть надолго можно из поиска.

Традиционно, гугл первым обратил на сайт внимание, на сей момент проиндексировал 4900 страниц. Для сравнения, янд переварил 1600.

Но! Смотрю, какие страницы в индексе и офигиваю. На 90% - страницы комментариев, которые запрещены в роботсе и не прописаны в сайтмэпе! Какого черта его вообще на эти страницы понесло? Да ладно были бы такие страницы, так нет, из скрипта выцарапал, зараза, адреса, которые ajax-ом подгружаются в div. Но при том, при всем, честно пишет "Описание веб-страницы недоступно из-за ограничений в файле robots.txt". Вот как это назвать????

И вот уже 2 недели наблюдаю, что в ВМ идет рост проиндексированных страниц, но в индексе, равно как и трафике, их не вижу в упор.

Share this post


Link to post
Share on other sites

 

 


Но! Смотрю, какие страницы в индексе и офигиваю. На 90% - страницы комментариев, которые запрещены в роботсе и не прописаны в сайтмэпе! Какого черта его вообще на эти страницы понесло? Да ладно были бы такие страницы, так нет, из скрипта выцарапал, зараза, адреса, которые ajax-ом подгружаются в div.

 

Давно уже все написано и разобрано по ящичкам, Гугл плевать хотел на запреты. У него индексация немного другая. С этим бороться практически бесполезно, если только смирится

Share this post


Link to post
Share on other sites

Начните с того, что откройте страницу Заблокированные URL в Инструментах для веб-мастеров (чтобы просмотреть список URL, которые Google не удалось просканировать якобы из-за robots.txt).

 

 

На втором этапе запустите Инструмент Проверка файла robots.txt, который показывает, не блокирует ли он доступ поискового робота Googlebot к файлам и каталогам вашего сайта и не разрешает ли сканирование файлов, которые не должны появляться в Интернете (не смотрите это через результаты поиска, где они могут быть с опозданием в 90 дней).

 

 

Если здесь у вас все хорошо, то отправьте сайт на быстрое сканирование - http://seo-zona.ru/vstrechajte-mgnovennaya-indeksaciya-stranic-v-google-2013-11-24.html (указав урл своего обновленного раздела и выберите для Googlebot опцию добавить URL и все связанные страницы).

 

Также рекомендую (при возможности) оставить на этот раздел парочку ссылок с других быстроиндексируемых сайтов. Процедура вогнать новый раздел на сайте аналогична принудительной индексации нового сайта.

 

И последнее: наберитесь терпения. Запрещенные к индексации и закешированные страницы вправе находится в индексе Гугля до 90 дней с момента их удаления/запрета и т.д. Так что, думаю, вы просто торопите события.

Хороший метод и сайт. Не  знал даже об этом.

Ты сам нашел эту функцию или где-то прочитал?(если можно ссылочку в лс на блог или еще что-то)

Поднимай ссылочное своему сайту, тИЦ и Pr тоже вещь важная.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now
Sign in to follow this  
Followers 0

  • Recently Browsing   0 members

    No registered users viewing this page.