ellectro 3 Report post Posted December 15, 2014 Доброй Ночи, подскажите как правильно настроить файл robots.txt для моего сайт - onlinerutv.ru В данный момент он выглядит так: User-agent: * Disallow: /engine/go.php Disallow: /engine/download.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*do=search Или покажите хотя бы пример настройки как он должен выглядеть ? Quote Share this post Link to post Share on other sites
georgii1984 79 Report post Posted December 15, 2014 Доброй Ночи, подскажите как правильно настроить файл robots.txt для моего сайт - onlinerutv.ru В данный момент он выглядит так: User-agent: * Disallow: /engine/go.php Disallow: /engine/download.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*do=search Или покажите хотя бы пример настройки как он должен выглядеть ? Для начала уберите такое изобилие рекламы. Смените логотип, он не вписывается в дизайн абсолютно. Добавьте favicon.ico На данный момент это важнее чем robots.txt Quote Share this post Link to post Share on other sites
strel 21 Report post Posted December 15, 2014 Чувак вот честно... зашёл и сразу рекламы море! что остальной сайт сперва не прогрузился, пришлось F5 наживать.... такнки слева со звуком, потом чтото другое в центре со звуком.... И в общем я скривился как удто сожрал 4 лимона и скорее закрыл сайт! Это фу! ей богу Quote Share this post Link to post Share on other sites
lecomrestno1979 2 Report post Posted December 16, 2014 Вообще-то robots.txt делается под свои нужды и спрашивать правильный он или нет смысла нет. У каждого он свой. Для яндекса можешь почитать тут http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml Quote Share this post Link to post Share on other sites
ellectro 3 Report post Posted December 16, 2014 как всегда на с каждым разом убеждаюсь что на том форуме четкого ответа на поставленный вопрос редко когда получишь. Quote Share this post Link to post Share on other sites
lecomrestno1979 2 Report post Posted December 16, 2014 как всегда на с каждым разом убеждаюсь что на том форуме четкого ответа на поставленный вопрос редко когда получишь. Я же тебе конкретно написал, что ты еще хочешь У меня вот к примеру такой User-agent: Yandex Allow: /category Disallow: / Allow: /sitemap Allow: /$ Sitemap: http://sait.ru/sitemap.xml Host: sait.ru User-agent: * Allow: /category Disallow: / Allow: /sitemap Allow: /$ Sitemap: http://sait.ru/sitemap.xml Host: sait.ru Кто ответит. Правильный или нет. Quote Share this post Link to post Share on other sites
serzh82 78 Report post Posted December 16, 2014 В вебматера гугл есть Вид в поиске - Оптимизация HTML. Посмотрите там повторяющиеся метаописания и заголовки и отклоните в роботсе те страницы, которые не нужны в индексе. Quote Share this post Link to post Share on other sites
shopeq 141 Report post Posted December 16, 2014 Если в robots.txt прописано только: Disallow: Это значит сайт полностью закрыт или открыт от роботов ? Quote Share this post Link to post Share on other sites
lecomrestno1979 2 Report post Posted December 16, 2014 Если в robots.txt прописано только: Disallow: Это значит сайт полностью закрыт или открыт от роботов ? Disallow: закрывает Quote Share this post Link to post Share on other sites
Sirge 22 Report post Posted December 16, 2014 Убери спам из keywords, это сейчас не приветствуется поисковиками. Robots для dle должен быть такой http://alaev.info/blog/post/3900 я придерживаюсь такого мнения. Quote Share this post Link to post Share on other sites
shopeq 141 Report post Posted December 16, 2014 Disallow: закрывает Мне жаль, но Вы не правы. Пришлось самому проверить, через вебмастер.. Quote Share this post Link to post Share on other sites
ellectro 3 Report post Posted December 16, 2014 Убери спам из keywords, это сейчас не приветствуется поисковиками. Robots для dle должен быть такой http://alaev.info/blog/post/3900 я придерживаюсь такого мнения. Ссылка не работает Quote Share this post Link to post Share on other sites
ellectro 3 Report post Posted December 16, 2014 В данный момент сделал так, скажите насколько это правильно ? User-agent: YandexAllow: /categoryDisallow: /Allow: /sitemapAllow: /$Sitemap: http://onlinerutv.ru/sitemap.xmlHost: onlinerutv.ruUser-agent: *Disallow: /*printDisallow: /user/Disallow: /backup/Disallow: /engine/Disallow: /language/Disallow: /templates/Disallow: /upgrade/Disallow: /uploads/Disallow: /autobackup.phpDisallow: /admin.phpDisallow: /index.php?do=addnewsDisallow: /index.php?do=feedbackDisallow: /index.php?do=lostpasswordDisallow: /index.php?do=pmDisallow: /index.php?do=registerDisallow: /index.php?do=statsDisallow: /index.php?do=searchDisallow: /index.php?subaction=newpostsDisallow: /?do=lastcommentsDisallow: /statistics.htmlHost: onlinerutv.ruSitemap: http://onlinerutv.ru/sitemap.xml Quote Share this post Link to post Share on other sites
Sirge 22 Report post Posted December 16, 2014 Ссылка правильная, но что-то не срабатывает на сайте. Скопируй и введи. Можно на сайте ввести в поисковую строку слово robots. Статья называется Правильный robots.txt для DLE – какой он? Quote Share this post Link to post Share on other sites
