Sign in to follow this  
Followers 0
taskaev1

Составить Robots.txt?

10 posts in this topic

Приветствую уважаемые Вебмастера. Нужна помощь в грамотном составлении файла Robots.txt для сайта 96TV.ru. Дело в том, что шаблонные файлы Robots.txt для популярных CMS скорее всего не подойдут, так как не могу определить на какой CMS написан сайт.

Share this post


Link to post
Share on other sites

Хех, вот только что на свой новый сайт файл роботс загрузил)))

Сам составлял? Я на своем кое что тоже сам составил, но точно не все там указал, не знаю что еще нужно указывать, т.е. запрещать от индексации.

Share this post


Link to post
Share on other sites
User-agent: *

Disallow: /*print

Disallow: /user/

Disallow: /backup/

Disallow: /engine/

Disallow: /favorites/

Disallow: /newposts/

Disallow: /lastnews/

Disallow: /catalog/

Disallow: /language/

Disallow: /tags/

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=pm

Disallow: /*do=search

Disallow: /*group=*

Disallow: /addnews.html

Disallow: /search.html

Disallow: /rules.html

Disallow: /2012/

Disallow: /2013/

Disallow: /2014/

Disallow: /2015/

Disallow: /page/2/

Disallow: /page/3/

Disallow: /page/4/

Disallow: /page/5/

Disallow: /page/6/

Disallow: /page/7/

Disallow: /page/8/

Disallow: /page/9/

Disallow: /page/10/

Disallow: /page/11/

Disallow: /page/12/

Disallow: /page/13/

Disallow: /page/14/

Disallow: /page/15/

Disallow: /page/16/

Disallow: /page/17/

Disallow: /page/18/

Disallow: /page/19/

Disallow: /page/20/

Disallow: /page/21/

Disallow: /page/22/

Disallow: /*.php*

Disallow: /*/page/

Disallow: /tags/*/page/

Host: site

Sitemap: site/rss.xml

Crawl-delay: 7

 

Мой - для DLE, вообще верно - каждая CMS по своему дубли создает, просто смотрите каккие страницы вы хотите закрыть от индексации и меняйте эти параметры: Disallow: /page/1/

Share this post


Link to post
Share on other sites

<?php
// +------------------------------------------------------------------------+
// | PHP Melody ( www.scriptz-team.info )
// +------------------------------------------------------------------------+
// | PHP Melody IS NOT FREE SOFTWARE
// | If you have downloaded this software from a website other
// | than www.scriptz-team.info or if you have received
// | this software from someone who is not a representative of
// | phpSugar, you are involved in an illegal activity.
// | ---
// | In such case, please contact: support@scriptz-team.info
// +------------------------------------------------------------------------+
// | Developed by: phpSugar (www.scriptz-team.info) / support@scriptz-team.info
// | Product URL: http://www.scriptz-team.info
// | Copyright: © 2004-2013 scriptz-team.info. All rights reserved.
// +------------------------------------------------------------------------+

// index page
$lang['homepage_title'] = '%s';
$lang['homepage_install_msg'] = 'Пожалуйста удалите файл <strong>install.php</strong> из корневой папки после завершения установки. <br />
Если вы ешё не начали процесс установки, то пожалуйста перейдите к<a href="install.php">нему сейчас</a>.';

// menu
$lang['homepage'] = 'Главная';
$lang['top_videos'] = 'Топ видео';
$lang['new_videos'] = 'Новые видео';
$lang['random_video'] = 'Случайное видео';
$lang['my_profile'] = 'Мой профиль';
$lang['profile'] = 'профиль';
$lang['my_favorites'] = 'Избранное';
$lang['suggest'] = 'Добавить видео';
$lang['logout'] = 'Выход';
$lang['contact_us'] = 'Связаться с нами';
$lang['register'] = 'Регистрация';
$lang['top'] = 'Топ';
$lang['admin_area'] = 'Админка';
$lang['articles'] = 'Статьи';
$lang['articles_latest'] = 'Последние статьи';
$lang['articles_mostread'] = 'Популярные';
$lang['articles_related'] = 'Похожие статьи';
$lang['articles_published'] = 'Опубликовано';
$lang['articles_artpostin'] = 'Эта статья была опубликована';
$lang['pages'] = 'Страницы';
$lang['toa'] = 'Условия соглашения';
$lang['preroll_ads_timeleft'] = 'Воспроизведение вашего видео начнется через';

Share this post


Link to post
Share on other sites

Сам составлял? Я на своем кое что тоже сам составил, но точно не все там указал, не знаю что еще нужно указывать, т.е. запрещать от индексации.

 

Я беру роботс в интернете и немного редактирую под свои нужды, вроде неплохо получается... по крайней мере тот роботс, что я разместил - раньше был на DLE сайте, который уверенно собирал по 1800-2500 хостов....

Share this post


Link to post
Share on other sites

 

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /favorites/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /language/
Disallow: /tags/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*group=*
Disallow: /addnews.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /page/2/
Disallow: /page/3/
Disallow: /page/4/
Disallow: /page/5/
Disallow: /page/6/
Disallow: /page/7/
Disallow: /page/8/
Disallow: /page/9/
Disallow: /page/10/
Disallow: /page/11/
Disallow: /page/12/
Disallow: /page/13/
Disallow: /page/14/
Disallow: /page/15/
Disallow: /page/16/
Disallow: /page/17/
Disallow: /page/18/
Disallow: /page/19/
Disallow: /page/20/
Disallow: /page/21/
Disallow: /page/22/
Disallow: /*.php*
Disallow: /*/page/
Disallow: /tags/*/page/
Host: site
Sitemap: site/rss.xml
Crawl-delay: 7
 
Мой - для DLE, вообще верно - каждая CMS по своему дубли создает, просто смотрите каккие страницы вы хотите закрыть от индексации и меняйте эти параметры: Disallow: /page/1/

 

Хорошо, благодарю!

Share this post


Link to post
Share on other sites

Называется твой движок phpmelody, в общем не плох, но с точки зрения СЕО кривой ужасно. Возился с ним месяц пока под себя настроил. Роботс, как и xml сайтмеп, как и микроразметку, как и всё остальное для оптимизации делать здесь надо руками под конкретный проект - по другому здесь не будет.

Share this post


Link to post
Share on other sites

Называется твой движок phpmelody, в общем не плох, но с точки зрения СЕО кривой ужасно. Возился с ним месяц пока под себя настроил. Роботс, как и xml сайтмеп, как и микроразметку, как и всё остальное для оптимизации делать здесь надо руками под конкретный проект - по другому здесь не будет.

Спасибо!

Share this post


Link to post
Share on other sites

 

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /favorites/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /language/
Disallow: /tags/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*group=*
Disallow: /addnews.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /page/2/
Disallow: /page/3/
Disallow: /page/4/
Disallow: /page/5/
Disallow: /page/6/
Disallow: /page/7/
Disallow: /page/8/
Disallow: /page/9/
Disallow: /page/10/
Disallow: /page/11/
Disallow: /page/12/
Disallow: /page/13/
Disallow: /page/14/
Disallow: /page/15/
Disallow: /page/16/
Disallow: /page/17/
Disallow: /page/18/
Disallow: /page/19/
Disallow: /page/20/
Disallow: /page/21/
Disallow: /page/22/
Disallow: /*.php*
Disallow: /*/page/
Disallow: /tags/*/page/
Host: site
Sitemap: site/rss.xml
Crawl-delay: 7
 
Мой - для DLE, вообще верно - каждая CMS по своему дубли создает, просто смотрите каккие страницы вы хотите закрыть от индексации и меняйте эти параметры: Disallow: /page/1/

 

большой роботс это тоже не хорошо, есть лучшие варианты в дле прикрыть дубли и уменьшить роботс в 4-5 строки.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now
Sign in to follow this  
Followers 0

  • Recently Browsing   0 members

    No registered users viewing this page.