Robots.txt какой он должен быть?

[ToneR 249]

robots-txt обязателен для сайта?

В случае если он отсутствует, то яндекс по умолчанию будет индексировать весь сайт, включая мусорные страницы.

[KORUP 1]

В случае если он отсутствует, то яндекс по умолчанию будет индексировать весь сайт, включая мусорные страницы.

А sitemap?

[vektor48 0]

Роботс для каждого сайта составляется свой. Лучше проверить мусорные ссылки, которые попали в индекс различными чекерами типа netpeak или screaming frog или в вебмастерах поисковиков смотреть. А то может получится что на 1 контент будет ссылаться 3 разных ссылки. 

[AlexK 126]

User-agent: *

Disallow:

Sitemap: http://ваш сайт/sitemap.xml

 

User-agent: Yandex

Disallow:

Host: ваш сайт.com

Sitemap: http://ваш сайт/sitemap.xml

[wlasta 19]

А sitemap?

 

Вообще то взяла себе за правило новый сайт добавлять в панель вебмастера  яндекса, гугла и майла. Обязательно указываю и sitemap и robots, так поисковики быстрее индексируют сайт и показывают какие ошибки нужно исправить.

[AlexK 126]

Вообще то взяла себе за правило новый сайт добавлять в панель вебмастера  яндекса, гугла и майла. Обязательно указываю и sitemap и robots, так поисковики быстрее индексируют сайт и показывают какие ошибки нужно исправить.

Солидарен.

Сайты в обязательном порядке добавил в:

 

1. Webmaster Yandex
2. Webmaster Google
3. Webmaster Mail
4. Webmaster Bing

[Дмитринск 0]

Решение всех проблем http://gameer.name/blog/20

[marikona 0]

Очень нужен совет:

 

Оплатила работу по созданию robots.txt специалисту, который должен был его перепроверить и изменить при необходимости. Но у меня возникли сомнения в его компетентности. Сайт на Джумла. форум Kunena, sh404sef. Всегда считала, что форма ответов на форуме, капча, поиск и подобные страницы должны быть закрыты. 

 

Disallow: /*search*

Disallow: /ulogin

Disallow: /acepolls

Disallow: /*captcha*

Disallow: /*reply*

Disallow: /*limitstart=0

Disallow: /*?_=*

 

Он выслал мне robots.txt без запрета этих страниц и пояснил, что лучше не закрывать от робота все эти страницы, так как поисковики не любят, когда от них закрывают контент. Никаких станиц, которые генерирует Kunena, sh404sef закрыты не были.

Прав ли он? Или если я заменю этот файл, то сделаю хуже?

 

Для полной ясности картины могу приложить файл, который есть сейчас и который выслал специалист.