Jump to content
Exitoso

Гугл индексирует запрет

Recommended Posts

Как так, в файле роботс стоит запрет на индексацию страниц сайт.ру/user/...., но гугл красавчик же, проиндексировал страницы, в поиске выдает ссылки на страницы юзеров и пишет "Описание веб-страницы недоступно из-за ограничений в файле robots.txt.", как так???

Share this post


Link to post
Share on other sites

покажите роботс.txt

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search

Share this post


Link to post
Share on other sites

robots становится всё более не актуальным, нужно закрывать мета тегами. У меня тоже гугл индексировал не замечая роботс, поставил мета теги, всё норм.

Share this post


Link to post
Share on other sites

Если ранее страницы были в индексе, и в какой-то момент вы их запретили, то для их удаления из индекса может пройти 90 дней. Так, что наберитесь терпения.

Share this post


Link to post
Share on other sites

тоже самое такое было неделю назад,создал сайт на юкоЗ,там карантин 30 дней на индексация в роботс,а гугл проиндексировал и в описании написал   Описание веб-страницы недоступно из-за ограничений в файле robots.txt.,роботс другой в отличии от тс)

Share this post


Link to post
Share on other sites

если у вас сайт на ДЛЕ то вот как должен выглядит Правильный robots.txt для DLE  

 

User-agent: *
Disallow: /engine/
Host: site.ru
 
лучше запрещать индексацию страниц и разделов при помощи метатега <meta name="robots" content="noindex">, а не при помощи robots.txt.

Share this post


Link to post
Share on other sites

Немного полезной инфы: Наш всеми любимый Google индексирует абсолютно все страницы сайта в не зависимости от запрета индексации. Но в основную выдачу те страницы, что запрещены к индексации он не пускает, т.е. увидеть их там можно, но позиций у них не будет никогда и трафик они собирать никогда не будут. — Это называется дополнительной выдачей Google или "Supplemental выдача" (в простонародье "Сопли Гугла").

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...