Search the Community
Showing results for tags 'robot.txt'.
Found 3 results
-
Ребят, проводил диагностику на сайте https://lifepoland.com.ua и показывает на 98 URL-лов код ответа сервера 200 ок-disallowed. сайт был переведен недавно на протокол https, может было что упущено.Может проблема в robot.txt? User-agent: *Allow: */*.cssAllow: */*.js*Allow: /wp-admin/admin-ajax.phpDisallow: /wp-adminDisallow: */*wp-json/Disallow: /wp-login.phpDisallow: /wp-register.phpDisallow: */feed*Disallow: /cgi-binDisallow: /xmlrpc.phpDisallow: */*commentsDisallow: */*trackback/Disallow: */*?*=*Disallow: */*?p*=*Disallow: */embed*Disallow: */rss вот скрин по диагностике -
Приветствую всех. Подскажите, знающие люди, какой должен быть файл robots.txt? На одном форуме в оценку моего сайта сказали, что у меня он не правильный. Я свой сделал как писал Алаев. Временно переключимся — смотрите на идеальный robots.txt для DLE User-agent: * Disallow: /engine/ Host: site.ru Sitemap: http://site.ru/sitemap.xml
-
Добрый день! Подскажите пожалуйста в файле robot.txt сайта http://upiter-ug.ru стоит запрет на индексацию страниц с категориями товаров или я неправлильно читаю этот файл?
