ellectro 3 Posted December 15, 2014 Report Share Posted December 15, 2014 Доброй Ночи, подскажите как правильно настроить файл robots.txt для моего сайт - onlinerutv.ru В данный момент он выглядит так: User-agent: * Disallow: /engine/go.php Disallow: /engine/download.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*do=search Или покажите хотя бы пример настройки как он должен выглядеть ? Quote Link to post Share on other sites
georgii1984 79 Posted December 15, 2014 Report Share Posted December 15, 2014 Доброй Ночи, подскажите как правильно настроить файл robots.txt для моего сайт - onlinerutv.ru В данный момент он выглядит так: User-agent: * Disallow: /engine/go.php Disallow: /engine/download.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*do=search Или покажите хотя бы пример настройки как он должен выглядеть ? Для начала уберите такое изобилие рекламы. Смените логотип, он не вписывается в дизайн абсолютно. Добавьте favicon.ico На данный момент это важнее чем robots.txt Quote Link to post Share on other sites
strel 21 Posted December 15, 2014 Report Share Posted December 15, 2014 Чувак вот честно... зашёл и сразу рекламы море! что остальной сайт сперва не прогрузился, пришлось F5 наживать.... такнки слева со звуком, потом чтото другое в центре со звуком.... И в общем я скривился как удто сожрал 4 лимона и скорее закрыл сайт! Это фу! ей богу Quote Link to post Share on other sites
lecomrestno1979 2 Posted December 16, 2014 Report Share Posted December 16, 2014 Вообще-то robots.txt делается под свои нужды и спрашивать правильный он или нет смысла нет. У каждого он свой. Для яндекса можешь почитать тут http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml Quote Link to post Share on other sites
ellectro 3 Posted December 16, 2014 Author Report Share Posted December 16, 2014 как всегда на с каждым разом убеждаюсь что на том форуме четкого ответа на поставленный вопрос редко когда получишь. Quote Link to post Share on other sites
lecomrestno1979 2 Posted December 16, 2014 Report Share Posted December 16, 2014 как всегда на с каждым разом убеждаюсь что на том форуме четкого ответа на поставленный вопрос редко когда получишь. Я же тебе конкретно написал, что ты еще хочешь У меня вот к примеру такой User-agent: Yandex Allow: /category Disallow: / Allow: /sitemap Allow: /$ Sitemap: http://sait.ru/sitemap.xml Host: sait.ru User-agent: * Allow: /category Disallow: / Allow: /sitemap Allow: /$ Sitemap: http://sait.ru/sitemap.xml Host: sait.ru Кто ответит. Правильный или нет. Quote Link to post Share on other sites
serzh82 78 Posted December 16, 2014 Report Share Posted December 16, 2014 В вебматера гугл есть Вид в поиске - Оптимизация HTML. Посмотрите там повторяющиеся метаописания и заголовки и отклоните в роботсе те страницы, которые не нужны в индексе. Quote Link to post Share on other sites
shopeq 141 Posted December 16, 2014 Report Share Posted December 16, 2014 Если в robots.txt прописано только: Disallow: Это значит сайт полностью закрыт или открыт от роботов ? Quote Link to post Share on other sites
lecomrestno1979 2 Posted December 16, 2014 Report Share Posted December 16, 2014 Если в robots.txt прописано только: Disallow: Это значит сайт полностью закрыт или открыт от роботов ? Disallow: закрывает Quote Link to post Share on other sites
Sirge 22 Posted December 16, 2014 Report Share Posted December 16, 2014 Убери спам из keywords, это сейчас не приветствуется поисковиками. Robots для dle должен быть такой http://alaev.info/blog/post/3900 я придерживаюсь такого мнения. Quote Link to post Share on other sites
shopeq 141 Posted December 16, 2014 Report Share Posted December 16, 2014 Disallow: закрывает Мне жаль, но Вы не правы. Пришлось самому проверить, через вебмастер.. Quote Link to post Share on other sites
ellectro 3 Posted December 16, 2014 Author Report Share Posted December 16, 2014 Убери спам из keywords, это сейчас не приветствуется поисковиками. Robots для dle должен быть такой http://alaev.info/blog/post/3900 я придерживаюсь такого мнения. Ссылка не работает Quote Link to post Share on other sites
ellectro 3 Posted December 16, 2014 Author Report Share Posted December 16, 2014 В данный момент сделал так, скажите насколько это правильно ? User-agent: YandexAllow: /categoryDisallow: /Allow: /sitemapAllow: /$Sitemap: http://onlinerutv.ru/sitemap.xmlHost: onlinerutv.ruUser-agent: *Disallow: /*printDisallow: /user/Disallow: /backup/Disallow: /engine/Disallow: /language/Disallow: /templates/Disallow: /upgrade/Disallow: /uploads/Disallow: /autobackup.phpDisallow: /admin.phpDisallow: /index.php?do=addnewsDisallow: /index.php?do=feedbackDisallow: /index.php?do=lostpasswordDisallow: /index.php?do=pmDisallow: /index.php?do=registerDisallow: /index.php?do=statsDisallow: /index.php?do=searchDisallow: /index.php?subaction=newpostsDisallow: /?do=lastcommentsDisallow: /statistics.htmlHost: onlinerutv.ruSitemap: http://onlinerutv.ru/sitemap.xml Quote Link to post Share on other sites
Sirge 22 Posted December 16, 2014 Report Share Posted December 16, 2014 Ссылка правильная, но что-то не срабатывает на сайте. Скопируй и введи. Можно на сайте ввести в поисковую строку слово robots. Статья называется Правильный robots.txt для DLE – какой он? Quote Link to post Share on other sites
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.