naumenko

Помогите сделать robots.txt

11 posts in this topic

Помогите сделать robots.txt для DLE

Мой сайт http://xvideo24.ru/ Adalt тематики на сайте много дублей вида /black/studios хотелось бы прекратить их появление а также запретить индексацию ошибки 404 и тегов 

Share this post


Link to post
Share on other sites

в header первой строкой добавьте

<?php 
if ($_SERVER['REQUEST_URI'] != "/") {
echo "<meta name='robots' content='noindex, nofollow, noarchive, noodp, noydir, nosnippet'/>"
else
echo "<meta name='robots' content='index, follow'/>"
?>

исключает дубли если такие есть, а если нет, то разрешает индексацию

petroff likes this

Share this post


Link to post
Share on other sites
2 минуты назад, Beauty сказал:

в header


<?php 
if ($_SERVER['REQUEST_URI'] != "/") {
echo "<meta name='robots' content='noindex, nofollow, noarchive, noodp, noydir, nosnippet'/>"
else
echo "<meta name='robots' content='index, follow'/>"
?>

 

и что мне даст

Share this post


Link to post
Share on other sites
26 минут назад, naumenko сказал:

а как насчёт роботс на моём сайте он путёвый

 

эти мета-теги аналог роботс, только работают автоматически

Share this post


Link to post
Share on other sites

я правильно понял вставляю этот код и насчёт роботс можно не парится даже если он неправильно составлен

Share this post


Link to post
Share on other sites
55 минут назад, naumenko сказал:

я правильно понял вставляю этот код и насчёт роботс можно не парится даже если он неправильно составлен

да, вообще можно не парится

Share this post


Link to post
Share on other sites

Чтобы убрать из индекса все ссылки с окончанием /studios Нужно прописать Disallow: /studios Или полностью весь путь Disallow: /films/studios

Share this post


Link to post
Share on other sites
33 минуты назад, naumenko сказал:

Чтобы убрать из индекса все ссылки с окончанием /studios Нужно прописать Disallow: /studios Или полностью весь путь Disallow: /films/studios

В вебмастере гугла в Сканировании есть Инструмент проверки файла robots.txt. В нем сможете тестировать и проверять доступность урлов.

Share this post


Link to post
Share on other sites
10 часов назад, Beauty сказал:

в header первой строкой добавьте


<?php 
if ($_SERVER['REQUEST_URI'] != "/") {
echo "<meta name='robots' content='noindex, nofollow, noarchive, noodp, noydir, nosnippet'/>"
else
echo "<meta name='robots' content='index, follow'/>"
?>

исключает дубли если такие есть, а если нет, то разрешает индексацию

Вы уверены что это код для DLE?

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now

  • Recently Browsing   0 members

    No registered users viewing this page.