Jump to content

Robots.txt какой он должен быть?


Recommended Posts

В случае если он отсутствует, то яндекс по умолчанию будет индексировать весь сайт, включая мусорные страницы.

А sitemap?

Link to post
Share on other sites
  • 4 weeks later...

Роботс для каждого сайта составляется свой. Лучше проверить мусорные ссылки, которые попали в индекс различными чекерами типа netpeak или screaming frog или в вебмастерах поисковиков смотреть. А то может получится что на 1 контент будет ссылаться 3 разных ссылки. 

Link to post
Share on other sites
  • 4 weeks later...
А sitemap?

 

Вообще то взяла себе за правило новый сайт добавлять в панель вебмастера  яндекса, гугла и майла. Обязательно указываю и sitemap и robots, так поисковики быстрее индексируют сайт и показывают какие ошибки нужно исправить.

Link to post
Share on other sites

Вообще то взяла себе за правило новый сайт добавлять в панель вебмастера  яндекса, гугла и майла. Обязательно указываю и sitemap и robots, так поисковики быстрее индексируют сайт и показывают какие ошибки нужно исправить.

Солидарен.

Сайты в обязательном порядке добавил в:

 

  1. Webmaster Yandex
  2. Webmaster Google
  3. Webmaster Mail
  4. Webmaster Bing
Link to post
Share on other sites
  • 4 weeks later...
  • 4 weeks later...

Очень нужен совет:

 
Оплатила работу по созданию robots.txt специалисту, который должен был его перепроверить и изменить при необходимости. Но у меня возникли сомнения в его компетентности. Сайт на Джумла. форум Kunena, sh404sef. Всегда считала, что форма ответов на форуме, капча, поиск и подобные страницы должны быть закрыты. 
 
Disallow: /*search*
Disallow: /ulogin
Disallow: /acepolls
Disallow: /*captcha*
Disallow: /*reply*
Disallow: /*limitstart=0
Disallow: /*?_=*
 
Он выслал мне robots.txt без запрета этих страниц и пояснил, что лучше не закрывать от робота все эти страницы, так как поисковики не любят, когда от них закрывают контент. Никаких станиц, которые генерирует Kunena, sh404sef закрыты не были.
Прав ли он? Или если я заменю этот файл, то сделаю хуже?
 
Для полной ясности картины могу приложить файл, который есть сейчас и который выслал специалист.
Link to post
Share on other sites

Please sign in to comment

You will be able to leave a comment after signing in



Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...