Search the Community

Showing results for tags 'Robots.txt'.



More search options

  • Search By Tags

    Type tags separated by commas.
  • Search By Author

Content Type


Forums

  • Поисковые системы
    • Поисковая оптимизация
    • Яндекс
    • Google
    • Другие поисковики
    • SMO
    • Каталоги
    • Инструкции и уроки
  • Основные форумы
    • Оценка сайта
    • Новости
    • Контекстная реклама
    • Партнерские программы
    • Сервисы, программы и скрипты
    • Дизайн
    • Домены
    • Биржа сайтов
    • Сайтостроительство
    • Хостинг
    • Финансы
    • Разное
    • Конкурсы
  • Работа
    • Правила раздела
    • Дизайн
    • Копирайт/Рерайт
    • SEO
    • SMO/SMM
    • Программирование
    • Разное
  • Другое
    • О нас
    • Black List
    • White List
    • Оффтопик

Skype


Местоположение


Интересы


Ваш сайт


Профиль ID

Found 15 results

  1. Здравствуйте. Помогите пожалуйста разобраться в чем проблема, ситуация такая. Занимался сайтом zaiminfo.site сделан был в adobe muse, страницы индексировались и проблем не возникало, недавно я решил переделать этот же сайт и сделать его на wordpress, сделал сначала на поддомене, когда сайт на wordpress был готов, удалил версию adobe muse и загрузил новую версию, перенес на основной домен и прописал 301 редирект в .htaccess для для каждой страницы отдельно с .html на /, но сайт перестал индексироваться, при проверке страницы на сайте, сайт закрыт в robots.txt, но при этом в robots сайт открыт для индексации. После чего я зарегистрировал новый домен zaiminfo.online и перенес новый сайт на новый домен с 301редиректом для всех страниц с zaiminfo.site. После проверки в консоли гугл, наблюдаю ту же проблему, заблокировано в файле robots.txt. После чего я полностью снес 2 сайта и загрузил на zaiminfo.site старую версию сделанную в adobe muse, но здесь та же проблема, при проверке в search console, заблокировано в файле robots.txt. Файл sitemap так само не видит (При обработке файла Sitemap обнаружены ошибки). Я не могу понять что могло спровоцировать данную проблему, возможно это и есть фильтр гугла? Подскажите пожалуйста, какие могут быть варианты решения данной проблемы? Буду очень благодарен за любые варианты решения. На данный момент я вернул старую версию сделанную в muse на домен zaiminfo.site, а новую версию на вордпрес загрузил на zaiminfo.online, 301 редирект прописан для всех страниц отдельно с zaiminfo.site на zaiminfo.online, так же указал канонические страницы для новой версии сайта zaiminfo.online, проблема осталась, уже 5ый день без изменений.
  2. Добрый день! Уважаемые форумчане, требуется ваше экспертное мнение! Никогда ранее не был участником в подобных злачных местах, однако ситуация вынудила. Ранее у нас стоял блок закрытия неиндексируемых регионов вида "Disallow: /town1/" в robots.txt. Наш новый маркетолог открыл для индексации все регионы в файле robots.txt, хотя ранее у нас было открыто их около 20 (именно те, по которым мы продвигались в Я. директ и Google Adwords. Как я понимаю текущую ситуацию, это приведет к огромному кол-ву дублированного контента, в индексе одних регионов будут появляться другие, соответственно позиции в выдаче, по моему мнению, начнуть падать. Уже сейчас, спустя 2 недели я наблюдаю большие скачки в позициях поисковых систем (в особенности Яндекса). Прошу вас высказать своё экспертное мнение, к чему может привести открытие регионов для индексации в долгосрочном периоде? Заранее благодарю каждого за ответ!
  3. Есть сайт domain.com в котором настроен переход через htaccess на мобильное зеркало m.domain.com На сайте есть поиск, и облака ключевых слов, например на товар А есть ключевые слова "А как Б" и "Б как С". Эти словосочетания выводятся в странице товара А как облако ссылок на domain.com/search.php?str="A как Б". Гугл все это изначально проиндексировал, и следуя советам и логике не показывать лишние страницы без текста и без смысла, результаты поиска, в гугле, поставил в robots.txt защиту, Disalow всем поисковым системам на search.php Вопрос, так как такой же search.php файлик есть в m.domain.com и там же есть такие же ссылки - надо ли ставить в папке mobile которая отвечает за субдомейн свой robots.txt или не заморачиваться и поставить мета с noindex nofollow в обеих файлах search.php? Спасибо.
  4. Подскажите сколько поставить секунд для роботов, создаю Robots.txt. Если поставить 120 может как раз улучшат посещаемость сайта, находясь почти 2 мин. на сайте...
  5. Доброго времени суток, коллеги! Проверял файл робота в Яндексе и Гугле. Яндекс пишет, что все хорошо, а Гугл написал, что есть 1 ошибка и 2 предупреждения и подсветил 3 строки: Clean-Param: utm_source&utm_medium&utm_campaign, Crawl-Delay: 0.5, Crawl-Delay: 5.Как можно решить эту ситуацию? Если Яндекс поддерживает их, а Гугл нет, то стоит ли их убрать? User-agent: * Disallow: /wp-admin/ Disallow: /wp-json/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /plugins/ Disallow: /search/ Disallow: /cart/ Disallow: /my-account/ Disallow: */?s= Disallow: *sort= Disallow: *view= Disallow: *utm= Disallow: /?s* Disallow: */page/ Crawl-Delay: 5 User-agent: GoogleBot Disallow: /wp-admin/ Disallow: /plugins/ Disallow: /search/ Disallow: /cart/ Disallow: */?s= Disallow: *sort= Disallow: *view= Disallow: *utm= Allow: /plugins/*.css Allow: /plugins/*.js Allow: /plugins/*.png Allow: /plugins/*.jpg Allow: /plugins/*.gif User-agent: Yandex Disallow: /wp-admin/ Disallow: /plugins/ Disallow: /search/ Disallow: /cart/ Disallow: */?s= Disallow: *sort= Disallow: *view= Allow: /plugins/*.css Allow: /plugins/*.js Allow: /plugins/*.png Allow: /plugins/*.jpg Allow: /plugins/*.gif Clean-Param: utm_source&utm_medium&utm_campaign Crawl-Delay: 0.5
  6. Подскажите есть ли смысл для продвижения создавать robots.txt и sitemap.xml для одностраничника
  7. Добрый день подскажите как можно найти сайтмап сайта adme.ru ,мне нужен именно данного сайта .Или хотябы подскажите программу
  8. Уважаемые друзья. Прошу помочь. Столкнулся с недавней проблемой по поводу дублей. Читал, смотрел... Попал на этот форум. Там парень в топике решает проблему с дублями. Вот у меня аналогичная ситуация. Была посещаемость в феврале в районе 1300 человек в день, сейчас 400-500 и появилось куча дублей. Профессионалы подскажите как почистить Есть ссылки таких видов: /viewtopic.php?f=50&t=10758&hilit=расход&start=0 /viewtopic.php?f=48&t=3547&hilit=Собран+сотый А если сделать выгрузку в файле excel то получу след: /viewtopic.php?f=33&t=16094&hilit=%D0%B4%D0%B5%D1%80%D0%B8%D0%B1%D0%B0%D1%81%D0%BA%D0%B0&start=1000 Что то вроде этого. Народ помогите правильно прописать это все в роботс. Иначе Яша совсем воздух перекроет. P.S. Каноникал и 301 не предлагать так как в Гуглище все гуд.
  9. Всем привет! Подскажите, пожалуйста, - у меня ни Яндекс-вебмастер, ни Гугл-вебмастер не видят мой robots.txt. И в браузере он не открывается. Написан верно (сам делал, и сам же потом еще раз менял), с маленькой буквы, размещен в корне - что не так, не могу понять. Для теста туда же (находятся прям рядом друг с другом) закинул rob.txt - открывается, sitemap - открывается. Сайт - a5000.ru В htaccess вроде никаких запретов нет. На всякий случай - вставляю его, заранее спасибо всем откликнувшимся! Options -Indexes ErrorDocument 404 /404.php <IfModule mod_php5.c> php_flag session.use_trans_sid off php_value display_errors 1 php_value mbstring.internal_encoding UTF-8 php_value mbstring.func_overload 2 </IfModule> <IfModule mod_rewrite.c> Options +FollowSymLinks RewriteEngine On RewriteCond %{HTTP_HOST} ^a5000.ru$ [OR] RewriteCond %{HTTP_HOST} ^c35504.tmweb.ru$ RewriteRule ^(.*)$ http://www.a5000.ru/$1[R=301,L] RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-l RewriteCond %{REQUEST_FILENAME} !-d RewriteCond %{REQUEST_FILENAME} !/bitrix/urlrewrite.php$ RewriteRule ^(.*)$ /bitrix/urlrewrite.php [L] RewriteRule .* - [E=REMOTE_USER:%{HTTP:Authorization}] </IfModule> <IfModule mod_dir.c> DirectoryIndex index.php index.html </IfModule> <IfModule mod_expires.c> ExpiresActive on ExpiresByType image/jpeg "access plus 3 day" ExpiresByType image/gif "access plus 3 day" ExpiresByType image/png "access plus 3 day" ExpiresByType text/css "access plus 3 day" ExpiresByType application/javascript "access plus 3 day" </IfModule>
  10. Всем доброго времени суток. Помогите с robots.txt мне нужно закрыть от индексации эти страницы : (это как пример не именно эти,вообще все с ) чтобы Яша их вообще не видел.Большое спасибо,надеюсь на вашу добрую помощь ТЕМА ЗАКРЫТА! Всем Большое спасибо за подсказки,всех с новым годом и всего наилучшего вам желаю)
  11. Кто сталкивался? нужно у одностраничника разрешить индексацию только корня, всё остальное типа index.html запретить.
  12. robots.txt сайт не индефицируется что ту не правильно? Я не могу понять... Яндекс не проиндексировал не одной странице, что надо изменить помогите плиз....Заранее спасибо. Буду очень благодарен за помощь. robots.txt User-agent: * Disallow: Host: pro100azart.pw Sitemap: http://pro100azart.pw/sitemap.xml
  13. Здравствуйте. Ув. форумчане прошу помощи кто хорошо понимает в Robots.txt. Дело в том, что после последнего АП_а, Яндекс закинул более 200 страниц в "Документ запрещен в файле robots.txt". Раньше же было всего около 50_и. И вот прошу посмотреть на мой список в Robots.txt всё ли там норм. User-agent: * Host: drunkcow.net Disallow: /engine/go.php Disallow: /engine/download.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*do=search Disallow: /rules.html Disallow: /*do=rules Disallow: /lastnews/ Disallow: /*do=lastnews Disallow: /*action=mobile* Disallow: /page/ Sitemap: http://drunkcow.net/sitemap.xml
  14. Здравствуйте! С лета этого года резко упало количество проиндексированных страниц в яндексе - 102, загружено роботом - 893. А в исключенных страницах, находятся все теги (tag), якобы они запрещены в robots.txt хотя там я их не запрещала http://apelcinchik.ru/robots.txt Может кто то сможет объяснить в чем дело. Спаисбо за внимание!
  15. Приветствую уважаемые Вебмастера. Нужна помощь в грамотном составлении файла Robots.txt для сайта 96TV.ru. Дело в том, что шаблонные файлы Robots.txt для популярных CMS скорее всего не подойдут, так как не могу определить на какой CMS написан сайт.