orenmorozko

Роботы яндекса добавляют к адресу get-запроса типа /?URL= и обходят эти адреса

15 posts in this topic

Добрый день! Проблема такая: в последнее время в яндекс.вебмастере в статистике обхода стало появляться много URL с get-запросами (/?url=) подобного типа: адрессайта/?url=адрессайта/страницасайта. Например: http://морозко56.рф/?url=http://xn--56-slcmimaco.xn--p1ai/foto/rapuntsel/ Откуда эти адреса берет яндекс мне совершенно не ясно, проверял различными утилитами (в том числе Netpeak Spider) внутренние и внешние ссылки, нигде такие ссылки не фигурируют, нигде на сайте они не генерируются. С этих ссылок робот перенаправляется на главную. Подскажите, пожалуйста, в какую сторону копать?

Share this post


Link to post
Share on other sites

Копайте:

и форум в целом.

пс. Будьте локоничней:

Disallow: /?url=
Disallow: /?url=*
Disallow: /?s=*

можно заменить на

Disallow: /?*

И можете тему закрывать.

 

Share this post


Link to post
Share on other sites

С тем, как закрыть их от индексации разобрался. А по поводу того, откуда эти адреса вообще берутся есть какие-то предположения?

Share this post


Link to post
Share on other sites
3 часа назад, orenmorozko сказал:

С тем, как закрыть их от индексации разобрался. А по поводу того, откуда эти адреса вообще берутся есть какие-то предположения?

Это, как правило, действия какого-то модуля - поиск, сравнение, галерея и т.д.

Share this post


Link to post
Share on other sites

Попробуйте в роботс добавить

Disallow: /callme/

и проверить ссылки в вебмастере будут запрещены или нет

Share this post


Link to post
Share on other sites

Вы имеете в виду, проверить, будет ли появляться такие ссылки в статистике обхода? Так я же их запретил с помощью Disallow: /?*

Share this post


Link to post
Share on other sites
1 час назад, orenmorozko сказал:

Вы имеете в виду, проверить, будет ли появляться такие ссылки в статистике обхода? Так я же их запретил с помощью Disallow: /?*

Disallow: /?* убрать

добавить Disallow: /callme/

и проверить урл в вебмастере, там есть какой-то инструмент. Посмотрите, что покажет, заблокирован урл в robots.txt или нет. 

Таких ссылок, как вы говорите, на сайте сейчас нет. Есть одна открытая для ботов директория /callme/ там скрипт какой-то. Может им эти урлы генерятся

Потом в роботс опять добавьте

Disallow: /?*

Доп. Хотя вряд ли вебмастер что-то покажет;)

Edited by petroff

Share this post


Link to post
Share on other sites

Так оно и есть, анализ robots.txt в вебмастере при добавлении Disallow: /callme/ пускает на страницы типа /?url=, оно и понятно, ведь директив запрещающих это после удаления Disallow: /?* нет.

Share this post


Link to post
Share on other sites
1 час назад, orenmorozko сказал:

Так оно и есть, анализ robots.txt в вебмастере при добавлении Disallow: /callme/ пускает на страницы типа /?url=, оно и понятно, ведь директив запрещающих это после удаления Disallow: /?* нет.

Ну да, ну да. В любом случае запрет на callme поставьте и смотрите будут дальше такие урлы генериться или нет

Share this post


Link to post
Share on other sites

В роботсе все-таки такие дубли закрывать не комильфо

Попробуйте такое добавить в аксес, должно сработать

RewriteCond %{QUERY_STRING} ^url= 
RewriteRule (.*) /$1? [R=301,L]

Кто-то еще недавно тут спрашивал как убрать параметры из урла

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now

  • Recently Browsing   0 members

    No registered users viewing this page.