Поиск по сайту

Результаты поиска по тегам 'robots.txt'.

  • Поиск по тегам

    Введите теги через запятую.
  • Поиск по автору

Тип публикаций


Категории и разделы

  • Поисковые системы
    • Поисковая оптимизация
    • Яндекс
    • Google
    • Другие поисковики
    • SMO
    • Каталоги
    • Инструкции и уроки
  • Основные форумы
    • Новости
    • Контекстная реклама
    • Партнерские программы
    • Сервисы, программы и скрипты
    • Дизайн
    • Домены
    • Биржа сайтов
    • Сайтостроительство
    • Хостинг
    • Финансы
    • Разное
    • Конкурсы
  • Работа
    • Правила раздела
    • Дизайн
    • Копирайт/Рерайт
    • SEO
    • SMO/SMM
    • Программирование
    • Разное
  • Другое
    • О нас
    • Black List
    • White List
    • Оффтопик

Найдено 12 результатов

  1. Подскажите сколько поставить секунд для роботов, создаю Robots.txt. Если поставить 120 может как раз улучшат посещаемость сайта, находясь почти 2 мин. на сайте...
  2. Доброго времени суток, коллеги! Проверял файл робота в Яндексе и Гугле. Яндекс пишет, что все хорошо, а Гугл написал, что есть 1 ошибка и 2 предупреждения и подсветил 3 строки: Clean-Param: utm_source&utm_medium&utm_campaign, Crawl-Delay: 0.5, Crawl-Delay: 5.Как можно решить эту ситуацию? Если Яндекс поддерживает их, а Гугл нет, то стоит ли их убрать? User-agent: * Disallow: /wp-admin/ Disallow: /wp-json/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /plugins/ Disallow: /search/ Disallow: /cart/ Disallow: /my-account/ Disallow: */?s= Disallow: *sort= Disallow: *view= Disallow: *utm= Disallow: /?s* Disallow: */page/ Crawl-Delay: 5 User-agent: GoogleBot Disallow: /wp-admin/ Disallow: /plugins/ Disallow: /search/ Disallow: /cart/ Disallow: */?s= Disallow: *sort= Disallow: *view= Disallow: *utm= Allow: /plugins/*.css Allow: /plugins/*.js Allow: /plugins/*.png Allow: /plugins/*.jpg Allow: /plugins/*.gif User-agent: Yandex Disallow: /wp-admin/ Disallow: /plugins/ Disallow: /search/ Disallow: /cart/ Disallow: */?s= Disallow: *sort= Disallow: *view= Allow: /plugins/*.css Allow: /plugins/*.js Allow: /plugins/*.png Allow: /plugins/*.jpg Allow: /plugins/*.gif Clean-Param: utm_source&utm_medium&utm_campaign Crawl-Delay: 0.5
  3. Подскажите есть ли смысл для продвижения создавать robots.txt и sitemap.xml для одностраничника
  4. Добрый день подскажите как можно найти сайтмап сайта adme.ru ,мне нужен именно данного сайта .Или хотябы подскажите программу
  5. Уважаемые друзья. Прошу помочь. Столкнулся с недавней проблемой по поводу дублей. Читал, смотрел... Попал на этот форум. Там парень в топике решает проблему с дублями. Вот у меня аналогичная ситуация. Была посещаемость в феврале в районе 1300 человек в день, сейчас 400-500 и появилось куча дублей. Профессионалы подскажите как почистить Есть ссылки таких видов: /viewtopic.php?f=50&t=10758&hilit=расход&start=0 /viewtopic.php?f=48&t=3547&hilit=Собран+сотый А если сделать выгрузку в файле excel то получу след: /viewtopic.php?f=33&t=16094&hilit=%D0%B4%D0%B5%D1%80%D0%B8%D0%B1%D0%B0%D1%81%D0%BA%D0%B0&start=1000 Что то вроде этого. Народ помогите правильно прописать это все в роботс. Иначе Яша совсем воздух перекроет. P.S. Каноникал и 301 не предлагать так как в Гуглище все гуд.
  6. Всем привет! Подскажите, пожалуйста, - у меня ни Яндекс-вебмастер, ни Гугл-вебмастер не видят мой robots.txt. И в браузере он не открывается. Написан верно (сам делал, и сам же потом еще раз менял), с маленькой буквы, размещен в корне - что не так, не могу понять. Для теста туда же (находятся прям рядом друг с другом) закинул rob.txt - открывается, sitemap - открывается. Сайт - a5000.ru В htaccess вроде никаких запретов нет. На всякий случай - вставляю его, заранее спасибо всем откликнувшимся! Options -Indexes ErrorDocument 404 /404.php <IfModule mod_php5.c> php_flag session.use_trans_sid off php_value display_errors 1 php_value mbstring.internal_encoding UTF-8 php_value mbstring.func_overload 2 </IfModule> <IfModule mod_rewrite.c> Options +FollowSymLinks RewriteEngine On RewriteCond %{HTTP_HOST} ^a5000.ru$ [OR] RewriteCond %{HTTP_HOST} ^c35504.tmweb.ru$ RewriteRule ^(.*)$ http://www.a5000.ru/$1[R=301,L] RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-l RewriteCond %{REQUEST_FILENAME} !-d RewriteCond %{REQUEST_FILENAME} !/bitrix/urlrewrite.php$ RewriteRule ^(.*)$ /bitrix/urlrewrite.php [L] RewriteRule .* - [E=REMOTE_USER:%{HTTP:Authorization}] </IfModule> <IfModule mod_dir.c> DirectoryIndex index.php index.html </IfModule> <IfModule mod_expires.c> ExpiresActive on ExpiresByType image/jpeg "access plus 3 day" ExpiresByType image/gif "access plus 3 day" ExpiresByType image/png "access plus 3 day" ExpiresByType text/css "access plus 3 day" ExpiresByType application/javascript "access plus 3 day" </IfModule>
  7. Всем доброго времени суток. Помогите с robots.txt мне нужно закрыть от индексации эти страницы : (это как пример не именно эти,вообще все с ) чтобы Яша их вообще не видел.Большое спасибо,надеюсь на вашу добрую помощь ТЕМА ЗАКРЫТА! Всем Большое спасибо за подсказки,всех с новым годом и всего наилучшего вам желаю)
  8. Кто сталкивался? нужно у одностраничника разрешить индексацию только корня, всё остальное типа index.html запретить.
  9. robots.txt сайт не индефицируется что ту не правильно? Я не могу понять... Яндекс не проиндексировал не одной странице, что надо изменить помогите плиз....Заранее спасибо. Буду очень благодарен за помощь. robots.txt User-agent: * Disallow: Host: pro100azart.pw Sitemap: http://pro100azart.pw/sitemap.xml
  10. Здравствуйте. Ув. форумчане прошу помощи кто хорошо понимает в Robots.txt. Дело в том, что после последнего АП_а, Яндекс закинул более 200 страниц в "Документ запрещен в файле robots.txt". Раньше же было всего около 50_и. И вот прошу посмотреть на мой список в Robots.txt всё ли там норм. User-agent: * Host: drunkcow.net Disallow: /engine/go.php Disallow: /engine/download.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*do=search Disallow: /rules.html Disallow: /*do=rules Disallow: /lastnews/ Disallow: /*do=lastnews Disallow: /*action=mobile* Disallow: /page/ Sitemap: http://drunkcow.net/sitemap.xml
  11. Здравствуйте! С лета этого года резко упало количество проиндексированных страниц в яндексе - 102, загружено роботом - 893. А в исключенных страницах, находятся все теги (tag), якобы они запрещены в robots.txt хотя там я их не запрещала http://apelcinchik.ru/robots.txt Может кто то сможет объяснить в чем дело. Спаисбо за внимание!
  12. Приветствую уважаемые Вебмастера. Нужна помощь в грамотном составлении файла Robots.txt для сайта 96TV.ru. Дело в том, что шаблонные файлы Robots.txt для популярных CMS скорее всего не подойдут, так как не могу определить на какой CMS написан сайт.