MisterX 323 Posted November 19, 2015 Report Share Posted November 19, 2015 Кто шарит в ВП - подкиньте вариант роботса, где все закрыто от индекса, кроме записей и страниц. Заранее благодарен. Quote Link to post Share on other sites
witosp 632 Posted November 19, 2015 Report Share Posted November 19, 2015 User-agent: * Disallow: /cgi-binDisallow: /wp-adminDisallow: /wp-includesDisallow: /wp-content/pluginsDisallow: /wp-content/cacheDisallow: /wp-content/themesDisallow: /trackbackDisallow: */trackbackDisallow: */*/trackback User-agent: YandexDisallow: /cgi-binDisallow: /wp-adminDisallow: /wp-includesDisallow: /wp-content/pluginsDisallow: /wp-content/cacheDisallow: /wp-content/themesHost: site.ruSitemap: http://site.ru/sitemap.xml User-agent: Googlebot-ImageAllow: /wp-content/uploads/ User-agent: YandexImages Allow: /wp-content/uploads/ Quote Link to post Share on other sites
MisterX 323 Posted November 19, 2015 Author Report Share Posted November 19, 2015 User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Host: site.ru Sitemap: http://site.ru/sitemap.xml User-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: YandexImages Allow: /wp-content/uploads/ Медиафайлы открыты получается Quote Link to post Share on other sites
MisterX 323 Posted November 19, 2015 Author Report Share Posted November 19, 2015 Как ни закрывал картинки - все равно индексируются в отдельной странице Quote Link to post Share on other sites
witosp 632 Posted November 19, 2015 Report Share Posted November 19, 2015 Как ни закрывал картинки - все равно индексируются в отдельной странице User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-content/uploads Disallow: /trackback Disallow: */trackback Disallow: */*/trackback User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-content/uploads Host: site.ru Sitemap: http://site.ru/sitemap.xml Quote Link to post Share on other sites
VIP GladWeb 1433 Posted November 19, 2015 VIP Report Share Posted November 19, 2015 Как ни закрывал картинки - все равно индексируются в отдельной странице По поводу роботса, привожу пример свой: User-agent: * Disallow: /wp-admin/ Disallow: /xmlrpc.php Disallow: */feed/ Disallow: /?feed= Disallow: /?s= Disallow: /goto/ Host: gladweb.ru Sitemap: http://gladweb.ru/sitemap_index.xml Также советую почитать http://gladweb.ru/yandeks-nachal-uchityvat-javascripts-i-css/, так вы поймете почему не нужно использовать метод от witosp выше. Что касается индексации страниц с картинками: http://gladweb.ru/snova-optimizaciya-wordpress-zapreshhaem-indeksirovanie-stranic-s-izobrazheniyami-attachment-pages/ P.S. извините что ссылками на свой блог, просто не хочу повторятся, там все это расписывал. P.P.S. Будут вопросы, пишите, отвечу вечером, сейчас буду не в сети. Quote Link to post Share on other sites
eKawazoe 252 Posted November 19, 2015 Report Share Posted November 19, 2015 Как ни закрывал картинки - все равно индексируются в отдельной странице Слышал, что Yoast тут поможет. Но сам не шарю. Quote Link to post Share on other sites
silence1988 340 Posted November 19, 2015 Report Share Posted November 19, 2015 Мой. User-agent: Yandex Allow: /wp-content/themes/*.css Allow: /wp-content/themes/*.png Allow: /wp-content/themes/*.jpg Allow: /wp-content/plugins/*.css Allow: /wp-content/uploads/*.css Allow: /wp-content/themes/*.js Allow: /wp-content/plugins/*.js Allow: /wp-content/uploads/*.js Allow: /wp-includes/css/ Allow: /wp-includes/js/ Allow: /wp-includes/images/ Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: /css/ Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /page/* User-agent: * Allow: /wp-content/themes/*.css Allow: /wp-content/themes/*.png Allow: /wp-content/themes/*.jpg Allow: /wp-content/plugins/*.css Allow: /wp-content/uploads/*.css Allow: /wp-content/themes/*.js Allow: /wp-content/plugins/*.js Allow: /wp-content/uploads/*.js Allow: /wp-includes/css/ Allow: /wp-includes/js/ Allow: /wp-includes/images/ Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: /css/ Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /page/* Host: сайт.ru Sitemap: http://сайт.ru/sitemap.xml Картинки только открыты у меня. А так ничего лишнего. Гугл и яша разница 5-10 страниц. witosp 1 Quote Link to post Share on other sites
MisterX 323 Posted November 19, 2015 Author Report Share Posted November 19, 2015 По поводу роботса, привожу пример свой: User-agent: * Disallow: /wp-admin/ Disallow: /xmlrpc.php Disallow: */feed/ Disallow: /?feed= Disallow: /?s= Disallow: /goto/ Host: gladweb.ru Sitemap: http://gladweb.ru/sitemap_index.xml Также советую почитать http://gladweb.ru/yandeks-nachal-uchityvat-javascripts-i-css/, так вы поймете почему не нужно использовать метод от witosp выше. Что касается индексации страниц с картинками: http://gladweb.ru/snova-optimizaciya-wordpress-zapreshhaem-indeksirovanie-stranic-s-izobrazheniyami-attachment-pages/ P.S. извините что ссылками на свой блог, просто не хочу повторятся, там все это расписывал. P.P.S. Будут вопросы, пишите, отвечу вечером, сейчас буду не в сети. Просканил твой блог в гугле и яше - в яше именно то, что я хотел видеть на своих сайтах, но в гугле страницы категорий ранжируются выше, ибо это гугл. Про css и яву знаю, почитал про картинки - поставил себе код, спасибо большое за ссылку. Подписался на бложик. Сейчас многие подумают что данная тема - пиар GladWeb, но нет. Это называется авторский полезный для пользователя контент. Респект тебе, бро. GladWeb 1 Quote Link to post Share on other sites
MisterX 323 Posted November 19, 2015 Author Report Share Posted November 19, 2015 Слышал, что Yoast тут поможет. Но сам не шарю. Yoast ломкий до жути. Quote Link to post Share on other sites
bozon 20 Posted November 19, 2015 Report Share Posted November 19, 2015 User-agent: *Disallow: /cgi-binDisallow: /wp-adminDisallow: /wp-includeDisallow: /wp-register.phpDisallow: /wp-content/pluginsDisallow: /wp-content/cacheDisallow: /wp-content/themesDisallow: /trackbackDisallow: */trackbackDisallow: */*/trackbackDisallow: */*/feed/*/Disallow: */feedDisallow: /*?*Disallow: /tagDisallow: /pageDisallow: */page/*Disallow: /pluginsDisallow: /archivesDisallow: /authorDisallow: /step/.....Disallow: /search/*Disallow: /goDisallow: /gotoDisallow: /wp-login.phpDisallow: /uploads/Disallow: /*.gif$Disallow: /*.jpg$Disallow: /*.png$Disallow: /xmlrpc.phpDisallow: */comment-page-*Disallow: /commentsDisallow: /sample-pageDisallow: /?attachment_idDisallow: /imgDisallow: *.jpgDisallow: *.gifDisallow: *.pngDisallow: *.bmpDisallow: /post-meta/Disallow: /xmlrpc.phpUser-Agent: GooglebotDisallow: *.jpgDisallow: *.gifDisallow: *.pngDisallow: *.bmpUser-agent: Googlebot-ImageDisallow: /User-agent: YandexImagesDisallow: /User-agent: YandexDisallow: /cgi-binDisallow: /wp-adminDisallow: /wp-includesDisallow: /wp-content/pluginsDisallow: /wp-register.phpDisallow: /wp-content/cacheDisallow: /wp-content/themesDisallow: /trackbackDisallow: */trackbackDisallow: */*/trackbackDisallow: */*/feed/*/Disallow: */feedDisallow: /*?*Disallow: /tagDisallow: /pageDisallow: */page/*Disallow: /pluginsDisallow: /archivesDisallow: /authorDisallow: /goDisallow: /gotoDisallow: /step/.....Disallow: /search/*Disallow: /xmlrpc.phpDisallow: */comment-page-*Disallow: /commentsDisallow: /sample-pageDisallow: /wp-login.phpDisallow: /uploadsDisallow: /?attachment_idDisallow: /imgDisallow: /post-meta/Host: http://site.ruSitemap: http://site.ru/sitemap.xml у меня такой роботс, может и не совсем правильный, закрыто почти все кроме постов, а картинки собаки, все равно в индекс попадают(( Quote Link to post Share on other sites
Yonen 0 Posted November 21, 2015 Report Share Posted November 21, 2015 Добрый день комрады, я вроде и знаю правильный ответ, но спрошу у вас, чтоб точно убедиться. Есть сайт: / У него есть директория каталога товаров Каталог: /shop/ У каталога есть тупой фильтр в котором нет возможности назначать тайтлы. И вообще вся фильтрация по сути - поисковой мусор. И лежит эта фильтрация в директории подкаталога. Фильтр: /shop/search/ Вопрос к знатокам: 1. Если я закрою директорию через robot.txt будет ли правильно написать: Disallow: /shop/search 2. Не закроет ли эта строчка доступ к индексации основного каталога? 3. Не повлияет ли это на ранжирование сайта в результатах поиска? Quote Link to post Share on other sites
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.