Search the Community
Showing results for tags 'robots.txt'.
Found 16 results
-
User-agent: * Allow: /wp-admin/admin-ajax.php Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-json/ Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /feed/ Disallow: /forum/profile/ Disallow: /forum/members/ Disallow: /forum/subscriptions/ Disallow: /forum/activity/ Disallow: /cgi-bin/ Disallow: /*/embed/ Disallow: /*/page/ Disallow: /*?s=/ User-agent: Yandex Allow: /wp-admin/admin-ajax.php Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-json/ Disallow: /wp-login.php Disallow: /wp-register.php Disa
-
Здравствуйте. Помогите пожалуйста разобраться в чем проблема, ситуация такая. Занимался сайтом zaiminfo.site сделан был в adobe muse, страницы индексировались и проблем не возникало, недавно я решил переделать этот же сайт и сделать его на wordpress, сделал сначала на поддомене, когда сайт на wordpress был готов, удалил версию adobe muse и загрузил новую версию, перенес на основной домен и прописал 301 редирект в .htaccess для для каждой страницы отдельно с .html на /, но сайт перестал индексироваться, при проверке страницы на сайте, сайт закрыт в robots.txt, но при этом в robots сайт открыт
-
Добрый день! Уважаемые форумчане, требуется ваше экспертное мнение! Никогда ранее не был участником в подобных злачных местах, однако ситуация вынудила. Ранее у нас стоял блок закрытия неиндексируемых регионов вида "Disallow: /town1/" в robots.txt. Наш новый маркетолог открыл для индексации все регионы в файле robots.txt, хотя ранее у нас было открыто их около 20 (именно те, по которым мы продвигались в Я. директ и Google Adwords. Как я понимаю текущую ситуацию, это приведет к огромному кол-ву дублированного контента, в индексе одних регионов будут появляться другие, соответст
-
Есть сайт domain.com в котором настроен переход через htaccess на мобильное зеркало m.domain.com На сайте есть поиск, и облака ключевых слов, например на товар А есть ключевые слова "А как Б" и "Б как С". Эти словосочетания выводятся в странице товара А как облако ссылок на domain.com/search.php?str="A как Б". Гугл все это изначально проиндексировал, и следуя советам и логике не показывать лишние страницы без текста и без смысла, результаты поиска, в гугле, поставил в robots.txt защиту, Disalow всем поисковым системам на search.php Вопрос, так как такой же search.php фай
-
Подскажите сколько поставить секунд для роботов, создаю Robots.txt. Если поставить 120 может как раз улучшат посещаемость сайта, находясь почти 2 мин. на сайте...
-
Доброго времени суток, коллеги! Проверял файл робота в Яндексе и Гугле. Яндекс пишет, что все хорошо, а Гугл написал, что есть 1 ошибка и 2 предупреждения и подсветил 3 строки: Clean-Param: utm_source&utm_medium&utm_campaign, Crawl-Delay: 0.5, Crawl-Delay: 5.Как можно решить эту ситуацию? Если Яндекс поддерживает их, а Гугл нет, то стоит ли их убрать? User-agent: * Disallow: /wp-admin/ Disallow: /wp-json/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /plugins/ Disallow: /search/ Disallow: /cart/ Disallow: /my-account/ Disallow: */?s= Disallow:
-
Подскажите есть ли смысл для продвижения создавать robots.txt и sitemap.xml для одностраничника
-
Добрый день подскажите как можно найти сайтмап сайта adme.ru ,мне нужен именно данного сайта .Или хотябы подскажите программу
-
Уважаемые друзья. Прошу помочь. Столкнулся с недавней проблемой по поводу дублей. Читал, смотрел... Попал на этот форум. Там парень в топике решает проблему с дублями. Вот у меня аналогичная ситуация. Была посещаемость в феврале в районе 1300 человек в день, сейчас 400-500 и появилось куча дублей. Профессионалы подскажите как почистить Есть ссылки таких видов: /viewtopic.php?f=50&t=10758&hilit=расход&start=0 /viewtopic.php?f=48&t=3547&hilit=Собран+сотый А если сделать выгрузку в файле excel то получу след: /viewtopic.php?f=33&
-
Всем привет! Подскажите, пожалуйста, - у меня ни Яндекс-вебмастер, ни Гугл-вебмастер не видят мой robots.txt. И в браузере он не открывается. Написан верно (сам делал, и сам же потом еще раз менял), с маленькой буквы, размещен в корне - что не так, не могу понять. Для теста туда же (находятся прям рядом друг с другом) закинул rob.txt - открывается, sitemap - открывается. Сайт - a5000.ru В htaccess вроде никаких запретов нет. На всякий случай - вставляю его, заранее спасибо всем откликнувшимся! Options -Indexes ErrorDocument 404 /404.php <IfModule mod_php5.c> php_flag session
-
Всем доброго времени суток. Помогите с robots.txt мне нужно закрыть от индексации эти страницы : (это как пример не именно эти,вообще все с ) чтобы Яша их вообще не видел.Большое спасибо,надеюсь на вашу добрую помощь ТЕМА ЗАКРЫТА! Всем Большое спасибо за подсказки,всех с новым годом и всего наилучшего вам желаю)
-
Кто сталкивался? нужно у одностраничника разрешить индексацию только корня, всё остальное типа index.html запретить.
-
robots.txt сайт не индефицируется что ту не правильно? Я не могу понять... Яндекс не проиндексировал не одной странице, что надо изменить помогите плиз....Заранее спасибо. Буду очень благодарен за помощь. robots.txt User-agent: * Disallow: Host: pro100azart.pw Sitemap: http://pro100azart.pw/sitemap.xml
-
Здравствуйте. Ув. форумчане прошу помощи кто хорошо понимает в Robots.txt. Дело в том, что после последнего АП_а, Яндекс закинул более 200 страниц в "Документ запрещен в файле robots.txt". Раньше же было всего около 50_и. И вот прошу посмотреть на мой список в Robots.txt всё ли там норм. User-agent: * Host: drunkcow.net Disallow: /engine/go.php Disallow: /engine/download.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do
-
Здравствуйте! С лета этого года резко упало количество проиндексированных страниц в яндексе - 102, загружено роботом - 893. А в исключенных страницах, находятся все теги (tag), якобы они запрещены в robots.txt хотя там я их не запрещала http://apelcinchik.ru/robots.txt Может кто то сможет объяснить в чем дело. Спаисбо за внимание!
-
Приветствую уважаемые Вебмастера. Нужна помощь в грамотном составлении файла Robots.txt для сайта 96TV.ru. Дело в том, что шаблонные файлы Robots.txt для популярных CMS скорее всего не подойдут, так как не могу определить на какой CMS написан сайт.
