Jump to content
Sign in to follow this  
Followers 0
MisterX

robots для wp - закрыть все, кроме записей и страниц

By MisterX, in Поисковая оптимизация

Recommended Posts

MisterX    323

MisterX
Posted

Кто шарит в ВП - подкиньте вариант роботса, где все закрыто от индекса, кроме записей и страниц. Заранее благодарен.

Share this post

Link to post
Share on other sites

witosp    631

witosp
Posted

 

 

 
User-agent: *

Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
 
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
 
User-agent: YandexImages

Allow: /wp-content/uploads/

 

Share this post

Link to post
Share on other sites

MisterX    323

MisterX
Posted

 

 

 
User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

 

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

 

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

 

User-agent: YandexImages

Allow: /wp-content/uploads/

 

Медиафайлы открыты получается

Share this post

Link to post
Share on other sites

witosp    631

witosp
Posted

Как ни закрывал картинки - все равно индексируются в отдельной странице

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-content/uploads

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

 

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-content/uploads

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

 

Share this post

Link to post
Share on other sites

GladWeb    1433

GladWeb
Posted

Как ни закрывал картинки - все равно индексируются в отдельной странице

 

По поводу роботса, привожу пример свой:

 

User-agent: *
Disallow: /wp-admin/
Disallow: /xmlrpc.php
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Disallow: /goto/
Host: gladweb.ru
Sitemap: http://gladweb.ru/sitemap_index.xml

Также советую почитать http://gladweb.ru/yandeks-nachal-uchityvat-javascripts-i-css/, так вы поймете почему не нужно использовать метод от witosp выше.

 

Что касается индексации страниц с картинками: http://gladweb.ru/snova-optimizaciya-wordpress-zapreshhaem-indeksirovanie-stranic-s-izobrazheniyami-attachment-pages/

 

P.S. извините что ссылками на свой блог, просто не хочу повторятся, там все это расписывал.

P.P.S. Будут вопросы, пишите, отвечу вечером, сейчас буду не в сети.

Share this post

Link to post
Share on other sites

eKawazoe    252

eKawazoe
Posted

Как ни закрывал картинки - все равно индексируются в отдельной странице

Слышал, что Yoast тут поможет. Но сам не шарю.

Share this post

Link to post
Share on other sites

silence1988    340

silence1988
Posted

Мой. 

 

 

 

User-agent: Yandex 
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.png
Allow: /wp-content/themes/*.jpg
Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
Disallow: /cgi-bin 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /wp-content/cache 
Disallow: /wp-content/themes 
Disallow: /wp-trackback 
Disallow: /wp-feed 
Disallow: /wp-comments 
Disallow: /css/
Disallow: */trackback 
Disallow: */feed 
Disallow: */comments 
Disallow: /page/*

User-agent: * 
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.png
Allow: /wp-content/themes/*.jpg
Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
Disallow: /cgi-bin 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /wp-content/cache 
Disallow: /wp-content/themes 
Disallow: /wp-trackback 
Disallow: /wp-feed 
Disallow: /wp-comments 
Disallow: /css/
Disallow: */trackback 
Disallow: */feed 
Disallow: */comments 
Disallow: /page/*

Host: сайт.ru
Sitemap: http://сайт.ru/sitemap.xml 

 

 

 

Картинки только открыты у меня. А так ничего лишнего. Гугл и яша разница 5-10 страниц.

witosp reacted to this

Share this post

Link to post
Share on other sites

MisterX    323

MisterX
Posted

 

По поводу роботса, привожу пример свой:

 

User-agent: *
Disallow: /wp-admin/
Disallow: /xmlrpc.php
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Disallow: /goto/
Host: gladweb.ru
Sitemap: http://gladweb.ru/sitemap_index.xml

Также советую почитать http://gladweb.ru/yandeks-nachal-uchityvat-javascripts-i-css/, так вы поймете почему не нужно использовать метод от witosp выше.

 

Что касается индексации страниц с картинками: http://gladweb.ru/snova-optimizaciya-wordpress-zapreshhaem-indeksirovanie-stranic-s-izobrazheniyami-attachment-pages/

 

P.S. извините что ссылками на свой блог, просто не хочу повторятся, там все это расписывал.

P.P.S. Будут вопросы, пишите, отвечу вечером, сейчас буду не в сети.

 

Просканил твой блог в гугле и яше - в яше именно то, что я хотел видеть на своих сайтах, но в гугле страницы категорий ранжируются выше, ибо это гугл. Про css и яву знаю, почитал про картинки - поставил себе код, спасибо большое за ссылку. Подписался на бложик.

 

Сейчас многие подумают что данная тема - пиар GladWeb, но нет. Это называется авторский полезный для пользователя контент. Респект тебе, бро.

GladWeb reacted to this

Share this post

Link to post
Share on other sites

bozon    20

bozon
Posted

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-include
Disallow: /wp-register.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /step/.....
Disallow: /search/*
Disallow: /go
Disallow: /goto
Disallow: /wp-login.php
Disallow: /uploads/
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /?attachment_id
Disallow: /img
Disallow: *.jpg
Disallow: *.gif
Disallow: *.png
Disallow: *.bmp
Disallow: /post-meta/
Disallow: /xmlrpc.php


User-Agent: Googlebot
Disallow: *.jpg
Disallow: *.gif
Disallow: *.png
Disallow: *.bmp

User-agent: Googlebot-Image
Disallow: /

User-agent: YandexImages
Disallow: /

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-register.php
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /go
Disallow: /goto
Disallow: /step/.....
Disallow: /search/*
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /wp-login.php
Disallow: /uploads
Disallow: /?attachment_id
Disallow: /img
Disallow: /post-meta/

Host: http://site.ru
Sitemap: http://site.ru/sitemap.xml

у меня такой роботс, может и не совсем правильный, закрыто почти все кроме постов, а картинки собаки, все равно в индекс попадают((

Share this post

Link to post
Share on other sites

Yonen    0

Yonen
Posted

Добрый день комрады, я вроде и знаю правильный ответ, но спрошу у вас, чтоб точно убедиться.

 

Есть сайт: /

 

У него есть директория каталога товаров

 

Каталог: /shop/

 

У каталога есть тупой фильтр в котором нет возможности назначать тайтлы. И вообще вся фильтрация по сути - поисковой мусор. И лежит эта фильтрация в директории подкаталога.

 

Фильтр: /shop/search/

 

Вопрос к знатокам:

 

1. Если я закрою директорию через robot.txt будет ли правильно написать:

 

Disallow: /shop/search

 

2. Не закроет ли эта строчка доступ к индексации основного каталога?

 

3. Не повлияет ли это на ранжирование сайта в результатах поиска?

Share this post

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
Sign in to follow this  
Followers 0
Go To Topic Listing

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...