Jump to content

Recommended Posts

Пришло сообщение что провал файл robots.txt, как и каким макарам я не знаю, но теперь нужно его востановить на ВП. Я пресмотрел миллион видео перечитал все блоги об этом но так и не понял как правилно сделать этот файл. там говорит что это и то нельзя индексоровать. а как понять тогда что должно индесировать?

 

2016

cgi-bin

webstat

wp-admin

wp-content

wp-includes

.htaccess

error_log

favicon.ico

favicon.png

file

google7217549a70fde31bd.html

index.html

index.php

license.txt

LQO0F1nBnhvGj3PE7856jyHZ5N0Xkc.html

navigation.php

php-cgi.core

readme.html

sitemap.xml

sitemap.xml.gz

u359_automedia_2017-896-02_14-07-15.sql

wmail_e0c88fb690bc7358.html

wp-activate.php

wp-blog-header.php

wp-comments-post.php

wp-config-sample.php

wp-config.php

wp-cron.php

wp-links-opml.php

wp-load.php

wp-login.php

wp-mail.php

wp-settings.php

wp-signup.php

wp-trackback.php

xmlrpc.php

yandex_4a97e28a4e3eb4.html

yandex_532fa8955ebcdc8.html

yandex_7d13badfc1c4086.html

 

это корень...

Как его оформить к тхт??

Link to post
Share on other sites

Есть вопрос? Задай его профессиональным веб-мастерам, SEO и другим специалистам!

Создаете файл robots.txt, в него вписываете:

User-agent: Yandex 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-login.php 
Disallow: /wp-register.php 
Disallow: /xmlrpc.php 
Disallow: /search 
Disallow: */trackback/ 
Disallow: */feed 
Disallow: */comments/
Disallow: */comment 
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Disallow: */embed*
Allow: /wp-content/uploads/ 
Host: site.ru

User-agent: Googlebot 
Disallow: /wp-admin 
Disallow: /wp-login.php 
Disallow: /wp-register.php 
Disallow: /xmlrpc.php 
Disallow: /search 
Disallow: */trackback/ 
Disallow: */feed 
Disallow: */comments/
Disallow: */comment 
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Disallow: */embed*
Allow: /wp-content/uploads/ 

User-agent: Mail.Ru
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-login.php 
Disallow: /wp-register.php 
Disallow: /xmlrpc.php 
Disallow: /search 
Disallow: */trackback/ 
Disallow: */feed 
Disallow: */comments/
Disallow: */comment 
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Disallow: */embed*
Allow: /wp-content/uploads/ 

User-agent: * 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-login.php 
Disallow: /wp-register.php 
Disallow: /xmlrpc.php 
Disallow: /search 
Disallow: */trackback/ 
Disallow: */feed 
Disallow: */comments/
Disallow: */comment 
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Disallow: */embed*
Allow: /wp-content/uploads/ 

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

User-agent: Mediapartners-Google
Disallow:

User-Agent: YaDirectBot
Disallow:

Sitemap: http://site.ru/sitemap.xml

Ничего нужного от индексации он не закроет, а мусор не будет индексироваться. Тут не закрываются страницы пагинации (page1,2 и т.д.) потому что на них, я всегда прописываю теги canonical. Затем заливаете этот файл в корень и все. Не забудьте заменить при копировании site.ru на свой домен. Еще вопросы есть?

Link to post
Share on other sites
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-include
Disallow: /wp-register.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /video
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /step/.....
Disallow: /search/*
Disallow: /go
Disallow: /goto
Disallow: /wp-login.php
Disallow: /uploads/
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /?attachment_id
Disallow: /img
Disallow: /post-meta/
Disallow: /xmlrpc.php
Disallow: /karta-sajta
Disallow: /obratnaya-svyaz
Disallow: *.jpg
Disallow: *.png
Disallow: *.gif
Disallow: *.bmp

Попробуйте такой файл роботс, закрыто почти все, кроме постов(записей) у меня такой был роботс в поиске было практически такое же количество страниц как и реальное количество записей на сайте. Картинки запретил к индексации ибо не вижу от них пользы,за все время не было ни одного перехода на сайт с поиска по картинкам. Впрочем, может именно для вашего случая такой файл роботс и не подойдет.

Link to post
Share on other sites
  • Модератор
Только что, bozon сказал:

Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes

Гоша будет ругаться. Еще как!

Link to post
Share on other sites
Цитата

Картинки запретил к индексации ибо не вижу от них пользы,за все время не было ни одного перехода на сайт с поиска по картинкам

а их и не будет (переходов) картинки и видео нужны для уникализации контента, если фото у вас уникальные и собственные то это придаст траста странице, если фото ворованные, то лучше закрыть от индексации

Link to post
Share on other sites
  • 1 month later...

Привет всем! Помогите разобраться в составлении robots.txt
В общем закрыл от индекса все страницы по адресу:
Disallow: /w-wiki/index.php?*
но так получилось что генерируется файл карты сайта в директории /w-wiki/sitemap-ru.xml
далее пишу: Allow: /w-wiki/sitemap-ru.xml
Но гугл жалуется: Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
что у меня не так?

Link to post
Share on other sites
1 час назад, Journalist сказал:

что у меня не так?

Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt :)

Вероятно, сайтмап содержит закрытые страницы /wiki/index.php?.........

Link to post
Share on other sites
5 минут назад, petroff сказал:

Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt :)

Вероятно, сайтмап содержит закрытые страницы /wiki/index.php?.........

В сайтмапе нет страниц по указанным ссылкам - ругается гугл, что сам сайтма закрыт от индекса robots хотя я ему вроде открыл доступ ... или я где-то ошибаюсь?

Link to post
Share on other sites
1 час назад, Journalist сказал:

В сайтмапе нет страниц по указанным ссылкам - ругается гугл, что сам сайтма закрыт от индекса robots хотя я ему вроде открыл доступ ... или я где-то ошибаюсь?

Disallow: /w-wiki/index.php?* не закрывает  /w-wiki/sitemap-ru.xml, поэтому Allow: /w-wiki/sitemap-ru.xml сайтмап не открывает 

А что не понятного в этой фразе гугла?

1 час назад, Journalist сказал:

Но гугл жалуется: Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.

Я не помню, но в вебмастере вроде можно посмотреть url страниц, на которые жалуется гугл подобным образом 

Link to post
Share on other sites
23 часа назад, petroff сказал:

Disallow: /w-wiki/index.php?* не закрывает  /w-wiki/sitemap-ru.xml, поэтому Allow: /w-wiki/sitemap-ru.xml сайтмап не открывает 

А что не понятного в этой фразе гугла?

Я не помню, но в вебмастере вроде можно посмотреть url страниц, на которые жалуется гугл подобным образом 

Всё спасибо! В роботсе остались старые данные - поэтому ругалась система )

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...