naumenko 0 Report post Posted September 19, 2018 Помогите сделать robots.txt для DLE Мой сайт http://xvideo24.ru/ Adalt тематики на сайте много дублей вида /black/studios хотелось бы прекратить их появление а также запретить индексацию ошибки 404 и тегов Quote Share this post Link to post Share on other sites
Beauty 172 Report post Posted September 19, 2018 в header первой строкой добавьте <?php if ($_SERVER['REQUEST_URI'] != "/") { echo "<meta name='robots' content='noindex, nofollow, noarchive, noodp, noydir, nosnippet'/>" else echo "<meta name='robots' content='index, follow'/>" ?> исключает дубли если такие есть, а если нет, то разрешает индексацию 1 petroff reacted to this Quote Share this post Link to post Share on other sites
naumenko 0 Report post Posted September 19, 2018 2 минуты назад, Beauty сказал: в header <?php if ($_SERVER['REQUEST_URI'] != "/") { echo "<meta name='robots' content='noindex, nofollow, noarchive, noodp, noydir, nosnippet'/>" else echo "<meta name='robots' content='index, follow'/>" ?> и что мне даст Quote Share this post Link to post Share on other sites
Beauty 172 Report post Posted September 19, 2018 Только что, naumenko сказал: и что мне даст не будет никаких проблем Quote Share this post Link to post Share on other sites
naumenko 0 Report post Posted September 19, 2018 а как насчёт роботс на моём сайте он путёвый Quote Share this post Link to post Share on other sites
Beauty 172 Report post Posted September 19, 2018 26 минут назад, naumenko сказал: а как насчёт роботс на моём сайте он путёвый эти мета-теги аналог роботс, только работают автоматически Quote Share this post Link to post Share on other sites
naumenko 0 Report post Posted September 19, 2018 я правильно понял вставляю этот код и насчёт роботс можно не парится даже если он неправильно составлен Quote Share this post Link to post Share on other sites
Beauty 172 Report post Posted September 19, 2018 55 минут назад, naumenko сказал: я правильно понял вставляю этот код и насчёт роботс можно не парится даже если он неправильно составлен да, вообще можно не парится Quote Share this post Link to post Share on other sites
naumenko 0 Report post Posted September 19, 2018 Чтобы убрать из индекса все ссылки с окончанием /studios Нужно прописать Disallow: /studios Или полностью весь путь Disallow: /films/studios Quote Share this post Link to post Share on other sites
serzh82 78 Report post Posted September 19, 2018 33 минуты назад, naumenko сказал: Чтобы убрать из индекса все ссылки с окончанием /studios Нужно прописать Disallow: /studios Или полностью весь путь Disallow: /films/studios В вебмастере гугла в Сканировании есть Инструмент проверки файла robots.txt. В нем сможете тестировать и проверять доступность урлов. Quote Share this post Link to post Share on other sites
TemKa_SD 106 Report post Posted September 20, 2018 10 часов назад, Beauty сказал: в header первой строкой добавьте <?php if ($_SERVER['REQUEST_URI'] != "/") { echo "<meta name='robots' content='noindex, nofollow, noarchive, noodp, noydir, nosnippet'/>" else echo "<meta name='robots' content='index, follow'/>" ?> исключает дубли если такие есть, а если нет, то разрешает индексацию Вы уверены что это код для DLE? Quote Share this post Link to post Share on other sites