naumenko 0 Posted September 19, 2018 Report Share Posted September 19, 2018 Помогите сделать robots.txt для DLE Мой сайт http://xvideo24.ru/ Adalt тематики на сайте много дублей вида /black/studios хотелось бы прекратить их появление а также запретить индексацию ошибки 404 и тегов Quote Link to post Share on other sites
Beauty 172 Posted September 19, 2018 Report Share Posted September 19, 2018 в header первой строкой добавьте <?php if ($_SERVER['REQUEST_URI'] != "/") { echo "<meta name='robots' content='noindex, nofollow, noarchive, noodp, noydir, nosnippet'/>" else echo "<meta name='robots' content='index, follow'/>" ?> исключает дубли если такие есть, а если нет, то разрешает индексацию petroff 1 Quote Link to post Share on other sites
naumenko 0 Posted September 19, 2018 Author Report Share Posted September 19, 2018 2 минуты назад, Beauty сказал: в header <?php if ($_SERVER['REQUEST_URI'] != "/") { echo "<meta name='robots' content='noindex, nofollow, noarchive, noodp, noydir, nosnippet'/>" else echo "<meta name='robots' content='index, follow'/>" ?> и что мне даст Quote Link to post Share on other sites
Beauty 172 Posted September 19, 2018 Report Share Posted September 19, 2018 Только что, naumenko сказал: и что мне даст не будет никаких проблем Quote Link to post Share on other sites
naumenko 0 Posted September 19, 2018 Author Report Share Posted September 19, 2018 а как насчёт роботс на моём сайте он путёвый Quote Link to post Share on other sites
Beauty 172 Posted September 19, 2018 Report Share Posted September 19, 2018 26 минут назад, naumenko сказал: а как насчёт роботс на моём сайте он путёвый эти мета-теги аналог роботс, только работают автоматически Quote Link to post Share on other sites
naumenko 0 Posted September 19, 2018 Author Report Share Posted September 19, 2018 я правильно понял вставляю этот код и насчёт роботс можно не парится даже если он неправильно составлен Quote Link to post Share on other sites
Beauty 172 Posted September 19, 2018 Report Share Posted September 19, 2018 55 минут назад, naumenko сказал: я правильно понял вставляю этот код и насчёт роботс можно не парится даже если он неправильно составлен да, вообще можно не парится Quote Link to post Share on other sites
naumenko 0 Posted September 19, 2018 Author Report Share Posted September 19, 2018 Чтобы убрать из индекса все ссылки с окончанием /studios Нужно прописать Disallow: /studios Или полностью весь путь Disallow: /films/studios Quote Link to post Share on other sites
serzh82 78 Posted September 19, 2018 Report Share Posted September 19, 2018 33 минуты назад, naumenko сказал: Чтобы убрать из индекса все ссылки с окончанием /studios Нужно прописать Disallow: /studios Или полностью весь путь Disallow: /films/studios В вебмастере гугла в Сканировании есть Инструмент проверки файла robots.txt. В нем сможете тестировать и проверять доступность урлов. Quote Link to post Share on other sites
TemKa_SD 106 Posted September 20, 2018 Report Share Posted September 20, 2018 10 часов назад, Beauty сказал: в header первой строкой добавьте <?php if ($_SERVER['REQUEST_URI'] != "/") { echo "<meta name='robots' content='noindex, nofollow, noarchive, noodp, noydir, nosnippet'/>" else echo "<meta name='robots' content='index, follow'/>" ?> исключает дубли если такие есть, а если нет, то разрешает индексацию Вы уверены что это код для DLE? Quote Link to post Share on other sites
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.