Jump to content

Составить Robots.txt?


Recommended Posts

Приветствую уважаемые Вебмастера. Нужна помощь в грамотном составлении файла Robots.txt для сайта 96TV.ru. Дело в том, что шаблонные файлы Robots.txt для популярных CMS скорее всего не подойдут, так как не могу определить на какой CMS написан сайт.

Link to post
Share on other sites

Есть вопрос? Задай его профессиональным веб-мастерам, SEO и другим специалистам!

Хех, вот только что на свой новый сайт файл роботс загрузил)))

Сам составлял? Я на своем кое что тоже сам составил, но точно не все там указал, не знаю что еще нужно указывать, т.е. запрещать от индексации.

Link to post
Share on other sites
  • VIP
User-agent: *

Disallow: /*print

Disallow: /user/

Disallow: /backup/

Disallow: /engine/

Disallow: /favorites/

Disallow: /newposts/

Disallow: /lastnews/

Disallow: /catalog/

Disallow: /language/

Disallow: /tags/

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=pm

Disallow: /*do=search

Disallow: /*group=*

Disallow: /addnews.html

Disallow: /search.html

Disallow: /rules.html

Disallow: /2012/

Disallow: /2013/

Disallow: /2014/

Disallow: /2015/

Disallow: /page/2/

Disallow: /page/3/

Disallow: /page/4/

Disallow: /page/5/

Disallow: /page/6/

Disallow: /page/7/

Disallow: /page/8/

Disallow: /page/9/

Disallow: /page/10/

Disallow: /page/11/

Disallow: /page/12/

Disallow: /page/13/

Disallow: /page/14/

Disallow: /page/15/

Disallow: /page/16/

Disallow: /page/17/

Disallow: /page/18/

Disallow: /page/19/

Disallow: /page/20/

Disallow: /page/21/

Disallow: /page/22/

Disallow: /*.php*

Disallow: /*/page/

Disallow: /tags/*/page/

Host: site

Sitemap: site/rss.xml

Crawl-delay: 7

 

Мой - для DLE, вообще верно - каждая CMS по своему дубли создает, просто смотрите каккие страницы вы хотите закрыть от индексации и меняйте эти параметры: Disallow: /page/1/
Link to post
Share on other sites

<?php
// +------------------------------------------------------------------------+
// | PHP Melody ( www.scriptz-team.info )
// +------------------------------------------------------------------------+
// | PHP Melody IS NOT FREE SOFTWARE
// | If you have downloaded this software from a website other
// | than www.scriptz-team.info or if you have received
// | this software from someone who is not a representative of
// | phpSugar, you are involved in an illegal activity.
// | ---
// | In such case, please contact: support@scriptz-team.info
// +------------------------------------------------------------------------+
// | Developed by: phpSugar (www.scriptz-team.info) / support@scriptz-team.info
// | Product URL: http://www.scriptz-team.info
// | Copyright: © 2004-2013 scriptz-team.info. All rights reserved.
// +------------------------------------------------------------------------+

// index page
$lang['homepage_title'] = '%s';
$lang['homepage_install_msg'] = 'Пожалуйста удалите файл <strong>install.php</strong> из корневой папки после завершения установки. <br />
Если вы ешё не начали процесс установки, то пожалуйста перейдите к<a href="install.php">нему сейчас</a>.';

// menu
$lang['homepage'] = 'Главная';
$lang['top_videos'] = 'Топ видео';
$lang['new_videos'] = 'Новые видео';
$lang['random_video'] = 'Случайное видео';
$lang['my_profile'] = 'Мой профиль';
$lang['profile'] = 'профиль';
$lang['my_favorites'] = 'Избранное';
$lang['suggest'] = 'Добавить видео';
$lang['logout'] = 'Выход';
$lang['contact_us'] = 'Связаться с нами';
$lang['register'] = 'Регистрация';
$lang['top'] = 'Топ';
$lang['admin_area'] = 'Админка';
$lang['articles'] = 'Статьи';
$lang['articles_latest'] = 'Последние статьи';
$lang['articles_mostread'] = 'Популярные';
$lang['articles_related'] = 'Похожие статьи';
$lang['articles_published'] = 'Опубликовано';
$lang['articles_artpostin'] = 'Эта статья была опубликована';
$lang['pages'] = 'Страницы';
$lang['toa'] = 'Условия соглашения';
$lang['preroll_ads_timeleft'] = 'Воспроизведение вашего видео начнется через';

Link to post
Share on other sites
  • VIP

Сам составлял? Я на своем кое что тоже сам составил, но точно не все там указал, не знаю что еще нужно указывать, т.е. запрещать от индексации.

 

Я беру роботс в интернете и немного редактирую под свои нужды, вроде неплохо получается... по крайней мере тот роботс, что я разместил - раньше был на DLE сайте, который уверенно собирал по 1800-2500 хостов....

Link to post
Share on other sites

 

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /favorites/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /language/
Disallow: /tags/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*group=*
Disallow: /addnews.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /page/2/
Disallow: /page/3/
Disallow: /page/4/
Disallow: /page/5/
Disallow: /page/6/
Disallow: /page/7/
Disallow: /page/8/
Disallow: /page/9/
Disallow: /page/10/
Disallow: /page/11/
Disallow: /page/12/
Disallow: /page/13/
Disallow: /page/14/
Disallow: /page/15/
Disallow: /page/16/
Disallow: /page/17/
Disallow: /page/18/
Disallow: /page/19/
Disallow: /page/20/
Disallow: /page/21/
Disallow: /page/22/
Disallow: /*.php*
Disallow: /*/page/
Disallow: /tags/*/page/
Host: site
Sitemap: site/rss.xml
Crawl-delay: 7
 
Мой - для DLE, вообще верно - каждая CMS по своему дубли создает, просто смотрите каккие страницы вы хотите закрыть от индексации и меняйте эти параметры: Disallow: /page/1/

 

Хорошо, благодарю!

Link to post
Share on other sites

Называется твой движок phpmelody, в общем не плох, но с точки зрения СЕО кривой ужасно. Возился с ним месяц пока под себя настроил. Роботс, как и xml сайтмеп, как и микроразметку, как и всё остальное для оптимизации делать здесь надо руками под конкретный проект - по другому здесь не будет.

Link to post
Share on other sites

Называется твой движок phpmelody, в общем не плох, но с точки зрения СЕО кривой ужасно. Возился с ним месяц пока под себя настроил. Роботс, как и xml сайтмеп, как и микроразметку, как и всё остальное для оптимизации делать здесь надо руками под конкретный проект - по другому здесь не будет.

Спасибо!

Link to post
Share on other sites

 

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /favorites/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /language/
Disallow: /tags/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*group=*
Disallow: /addnews.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /page/2/
Disallow: /page/3/
Disallow: /page/4/
Disallow: /page/5/
Disallow: /page/6/
Disallow: /page/7/
Disallow: /page/8/
Disallow: /page/9/
Disallow: /page/10/
Disallow: /page/11/
Disallow: /page/12/
Disallow: /page/13/
Disallow: /page/14/
Disallow: /page/15/
Disallow: /page/16/
Disallow: /page/17/
Disallow: /page/18/
Disallow: /page/19/
Disallow: /page/20/
Disallow: /page/21/
Disallow: /page/22/
Disallow: /*.php*
Disallow: /*/page/
Disallow: /tags/*/page/
Host: site
Sitemap: site/rss.xml
Crawl-delay: 7
 
Мой - для DLE, вообще верно - каждая CMS по своему дубли создает, просто смотрите каккие страницы вы хотите закрыть от индексации и меняйте эти параметры: Disallow: /page/1/

 

большой роботс это тоже не хорошо, есть лучшие варианты в дле прикрыть дубли и уменьшить роботс в 4-5 строки.

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...