naumenko

Помогите сделать robots.txt

11 сообщений в этой теме

Помогите сделать robots.txt для DLE

Мой сайт http://xvideo24.ru/ Adalt тематики на сайте много дублей вида /black/studios хотелось бы прекратить их появление а также запретить индексацию ошибки 404 и тегов 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

в header первой строкой добавьте

<?php 
if ($_SERVER['REQUEST_URI'] != "/") {
echo "<meta name='robots' content='noindex, nofollow, noarchive, noodp, noydir, nosnippet'/>"
else
echo "<meta name='robots' content='index, follow'/>"
?>

исключает дубли если такие есть, а если нет, то разрешает индексацию

petroff понравилось это

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
2 минуты назад, Beauty сказал:

в header


<?php 
if ($_SERVER['REQUEST_URI'] != "/") {
echo "<meta name='robots' content='noindex, nofollow, noarchive, noodp, noydir, nosnippet'/>"
else
echo "<meta name='robots' content='index, follow'/>"
?>

 

и что мне даст

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
26 минут назад, naumenko сказал:

а как насчёт роботс на моём сайте он путёвый

 

эти мета-теги аналог роботс, только работают автоматически

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

я правильно понял вставляю этот код и насчёт роботс можно не парится даже если он неправильно составлен

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
55 минут назад, naumenko сказал:

я правильно понял вставляю этот код и насчёт роботс можно не парится даже если он неправильно составлен

да, вообще можно не парится

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Чтобы убрать из индекса все ссылки с окончанием /studios Нужно прописать Disallow: /studios Или полностью весь путь Disallow: /films/studios

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
33 минуты назад, naumenko сказал:

Чтобы убрать из индекса все ссылки с окончанием /studios Нужно прописать Disallow: /studios Или полностью весь путь Disallow: /films/studios

В вебмастере гугла в Сканировании есть Инструмент проверки файла robots.txt. В нем сможете тестировать и проверять доступность урлов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
10 часов назад, Beauty сказал:

в header первой строкой добавьте


<?php 
if ($_SERVER['REQUEST_URI'] != "/") {
echo "<meta name='robots' content='noindex, nofollow, noarchive, noodp, noydir, nosnippet'/>"
else
echo "<meta name='robots' content='index, follow'/>"
?>

исключает дубли если такие есть, а если нет, то разрешает индексацию

Вы уверены что это код для DLE?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!


Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.


Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу