Jump to content

Помогите сделать robots.txt


Recommended Posts

Помогите сделать robots.txt для DLE

Мой сайт http://xvideo24.ru/ Adalt тематики на сайте много дублей вида /black/studios хотелось бы прекратить их появление а также запретить индексацию ошибки 404 и тегов 

Link to post
Share on other sites

в header первой строкой добавьте

<?php 
if ($_SERVER['REQUEST_URI'] != "/") {
echo "<meta name='robots' content='noindex, nofollow, noarchive, noodp, noydir, nosnippet'/>"
else
echo "<meta name='robots' content='index, follow'/>"
?>

исключает дубли если такие есть, а если нет, то разрешает индексацию

Link to post
Share on other sites
2 минуты назад, Beauty сказал:

в header


<?php 
if ($_SERVER['REQUEST_URI'] != "/") {
echo "<meta name='robots' content='noindex, nofollow, noarchive, noodp, noydir, nosnippet'/>"
else
echo "<meta name='robots' content='index, follow'/>"
?>

 

и что мне даст

Link to post
Share on other sites
55 минут назад, naumenko сказал:

я правильно понял вставляю этот код и насчёт роботс можно не парится даже если он неправильно составлен

да, вообще можно не парится

Link to post
Share on other sites
33 минуты назад, naumenko сказал:

Чтобы убрать из индекса все ссылки с окончанием /studios Нужно прописать Disallow: /studios Или полностью весь путь Disallow: /films/studios

В вебмастере гугла в Сканировании есть Инструмент проверки файла robots.txt. В нем сможете тестировать и проверять доступность урлов.

Link to post
Share on other sites
10 часов назад, Beauty сказал:

в header первой строкой добавьте


<?php 
if ($_SERVER['REQUEST_URI'] != "/") {
echo "<meta name='robots' content='noindex, nofollow, noarchive, noodp, noydir, nosnippet'/>"
else
echo "<meta name='robots' content='index, follow'/>"
?>

исключает дубли если такие есть, а если нет, то разрешает индексацию

Вы уверены что это код для DLE?

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...