Помогите сделать robots.txt

[naumenko 0]

Помогите сделать robots.txt для DLE

Мой сайт http://xvideo24.ru/ Adalt тематики на сайте много дублей вида /black/studios хотелось бы прекратить их появление а также запретить индексацию ошибки 404 и тегов 

[Beauty 172]

в header первой строкой добавьте

<?php 
if ($_SERVER['REQUEST_URI'] != "/") {
echo "<meta name='robots' content='noindex, nofollow, noarchive, noodp, noydir, nosnippet'/>"
else
echo "<meta name='robots' content='index, follow'/>"
?>

исключает дубли если такие есть, а если нет, то разрешает индексацию

[naumenko 0]

2 минуты назад, Beauty сказал:

в header

<?php 
if ($_SERVER['REQUEST_URI'] != "/") {
echo "<meta name='robots' content='noindex, nofollow, noarchive, noodp, noydir, nosnippet'/>"
else
echo "<meta name='robots' content='index, follow'/>"
?>

 

и что мне даст

[Beauty 172]

Только что, naumenko сказал:

и что мне даст

не будет никаких проблем

[naumenko 0]

а как насчёт роботс на моём сайте он путёвый

 

[Beauty 172]

26 минут назад, naumenko сказал:

а как насчёт роботс на моём сайте он путёвый

 

эти мета-теги аналог роботс, только работают автоматически

[naumenko 0]

я правильно понял вставляю этот код и насчёт роботс можно не парится даже если он неправильно составлен

[Beauty 172]

55 минут назад, naumenko сказал:

я правильно понял вставляю этот код и насчёт роботс можно не парится даже если он неправильно составлен

да, вообще можно не парится

[naumenko 0]

Чтобы убрать из индекса все ссылки с окончанием /studios Нужно прописать Disallow: /studios Или полностью весь путь Disallow: /films/studios

[serzh82 78]

33 минуты назад, naumenko сказал:

Чтобы убрать из индекса все ссылки с окончанием /studios Нужно прописать Disallow: /studios Или полностью весь путь Disallow: /films/studios

В вебмастере гугла в Сканировании есть Инструмент проверки файла robots.txt. В нем сможете тестировать и проверять доступность урлов.

[TemKa_SD 106]

10 часов назад, Beauty сказал:

в header первой строкой добавьте

<?php 
if ($_SERVER['REQUEST_URI'] != "/") {
echo "<meta name='robots' content='noindex, nofollow, noarchive, noodp, noydir, nosnippet'/>"
else
echo "<meta name='robots' content='index, follow'/>"
?>

исключает дубли если такие есть, а если нет, то разрешает индексацию

Вы уверены что это код для DLE?