Exitoso

Гугл индексирует запрет

11 posts in this topic

Как так, в файле роботс стоит запрет на индексацию страниц сайт.ру/user/...., но гугл красавчик же, проиндексировал страницы, в поиске выдает ссылки на страницы юзеров и пишет "Описание веб-страницы недоступно из-за ограничений в файле robots.txt.", как так???

Share this post


Link to post
Share on other sites

покажите роботс.txt

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search

Share this post


Link to post
Share on other sites

robots становится всё более не актуальным, нужно закрывать мета тегами. У меня тоже гугл индексировал не замечая роботс, поставил мета теги, всё норм.

Share this post


Link to post
Share on other sites

Если ранее страницы были в индексе, и в какой-то момент вы их запретили, то для их удаления из индекса может пройти 90 дней. Так, что наберитесь терпения.

Share this post


Link to post
Share on other sites

тоже самое такое было неделю назад,создал сайт на юкоЗ,там карантин 30 дней на индексация в роботс,а гугл проиндексировал и в описании написал   Описание веб-страницы недоступно из-за ограничений в файле robots.txt.,роботс другой в отличии от тс)

Share this post


Link to post
Share on other sites

Disallow: /user* -вот так надо, чтобы не индексировались все страницы содержащие начинающиеся на /user

Share this post


Link to post
Share on other sites

если у вас сайт на ДЛЕ то вот как должен выглядит Правильный robots.txt для DLE  

 

User-agent: *
Disallow: /engine/
Host: site.ru
 
лучше запрещать индексацию страниц и разделов при помощи метатега <meta name="robots" content="noindex">, а не при помощи robots.txt.

Share this post


Link to post
Share on other sites

Немного полезной инфы: Наш всеми любимый Google индексирует абсолютно все страницы сайта в не зависимости от запрета индексации. Но в основную выдачу те страницы, что запрещены к индексации он не пускает, т.е. увидеть их там можно, но позиций у них не будет никогда и трафик они собирать никогда не будут. — Это называется дополнительной выдачей Google или "Supplemental выдача" (в простонародье "Сопли Гугла").

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now

  • Recently Browsing   0 members

    No registered users viewing this page.