Sign in to follow this  
Followers 0
kornet77

Проблемы с robots.txt

13 posts in this topic

Всем привет!
Подскажите, пожалуйста, - у меня ни Яндекс-вебмастер, ни Гугл-вебмастер не видят мой robots.txt. И в браузере он не открывается. Написан верно (сам делал, и сам же потом еще раз менял), с маленькой буквы, размещен в корне - что не так, не могу понять. Для теста туда же (находятся прям рядом друг с другом) закинул rob.txt - открывается, sitemap - открывается. Сайт - a5000.ru

В htaccess вроде никаких запретов нет. 

На всякий случай - вставляю его, заранее спасибо всем откликнувшимся!

 

Options -Indexes 

ErrorDocument 404 /404.php
 
<IfModule mod_php5.c>
  php_flag session.use_trans_sid off
  php_value display_errors 1
  php_value mbstring.internal_encoding UTF-8
  php_value mbstring.func_overload 2
</IfModule>
 
<IfModule mod_rewrite.c>
  Options +FollowSymLinks
  RewriteEngine On
  RewriteCond %{HTTP_HOST} ^a5000.ru$ [OR]
  RewriteCond %{HTTP_HOST} ^c35504.tmweb.ru$
  RewriteRule ^(.*)$ http://www.a5000.ru/$1[R=301,L]
  RewriteCond %{REQUEST_FILENAME} !-f
  RewriteCond %{REQUEST_FILENAME} !-l
  RewriteCond %{REQUEST_FILENAME} !-d
  RewriteCond %{REQUEST_FILENAME} !/bitrix/urlrewrite.php$
  RewriteRule ^(.*)$ /bitrix/urlrewrite.php [L]
  RewriteRule .* - [E=REMOTE_USER:%{HTTP:Authorization}]
</IfModule>
 
<IfModule mod_dir.c>
  DirectoryIndex index.php index.html
</IfModule>
 
<IfModule mod_expires.c>
  ExpiresActive on
  ExpiresByType image/jpeg "access plus 3 day"
  ExpiresByType image/gif "access plus 3 day"
  ExpiresByType image/png "access plus 3 day"
  ExpiresByType text/css "access plus 3 day"
  ExpiresByType application/javascript "access plus 3 day"  
</IfModule>
 

 

 

Share this post


Link to post
Share on other sites
судя по всему стоит битрих? 


 

разница может быть в том что содержимое  robots.txt хранится в базе, я точно незнаю, как там битрих устроен

Share this post


Link to post
Share on other sites

 

судя по всему стоит битрих? 
 
разница может быть в том что содержимое  robots.txt хранится в базе, я точно незнаю, как там битрих устроен

 

Да я создал отдельно и залил вручную, но через админку битрикса (отдельное меню - поисковая оптимизация) виден тот же самый файл.

Share this post


Link to post
Share on other sites

Да я создал отдельно и залил вручную, но через админку битрикса (отдельное меню - поисковая оптимизация) виден тот же самый файл.

Создай через админку полностью  и должна проблема решиться)

Share this post


Link to post
Share on other sites

Вот пример robots.txt в корне bitrix:

 

 

User-Agent: *

Disallow: # empty Disallow instruction SHOULD be there

Disallow: /bitrix/

Disallow: /search/

Allow: /search/map.php

Disallow: /auth/

Disallow: /auth.php

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*register=yes

Disallow: /*forgot_password=yes

Disallow: /*change_password=yes

Disallow: /*login=yes

Disallow: /*logout=yes

Disallow: /*auth=yes

Disallow: /*backurl=*

Disallow: /*BACKURL=*

Disallow: /*back_url=*

Disallow: /*BACK_URL=*

Disallow: /*back_url_admin=*

Disallow: /*index.php$

 

Host: site.ru

 

Sitemap: http://site.ru/sitemap.xml

 

 

на всякий случай htaccess

 

 

Options -Indexes

ErrorDocument 404 /404.php

 

RewriteCond %{HTTP_HOST} ^www.site.ru$ [NC]

RewriteRule ^(.*)$ http://site.ru/$1[R=301,L]

 

<IfModule mod_php5.c>

php_flag allow_call_time_pass_reference 1

php_flag session.use_trans_sid off

 

#php_value display_errors 1

 

#php_value mbstring.internal_encoding UTF-8

</IfModule>

 

<IfModule mod_rewrite.c>

Options +FollowSymLinks

RewriteEngine On

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-l

RewriteCond %{REQUEST_FILENAME} !-d

RewriteCond %{REQUEST_FILENAME} !/bitrix/urlrewrite.php$

RewriteRule ^(.*)$ /bitrix/urlrewrite.php [L]

RewriteRule .* - [E=REMOTE_USER:%{HTTP:Authorization}]

</IfModule>

 

<IfModule mod_dir.c>

DirectoryIndex index.php index.html

</IfModule>

 

<IfModule mod_expires.c>

ExpiresActive on

ExpiresByType image/jpeg "access plus 3 day"

ExpiresByType image/gif "access plus 3 day"

</IfModule>

 

 

сколько раз создавал, что через админ панель, что самостоятельно - выходит одинаково

(но лучше через админку делать)

Share this post


Link to post
Share on other sites

Вот пример robots.txt в корне bitrix:

 

 

User-Agent: *

Disallow: # empty Disallow instruction SHOULD be there

Disallow: /bitrix/

Disallow: /search/

Allow: /search/map.php

Disallow: /auth/

Disallow: /auth.php

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*register=yes

Disallow: /*forgot_password=yes

Disallow: /*change_password=yes

Disallow: /*login=yes

Disallow: /*logout=yes

Disallow: /*auth=yes

Disallow: /*backurl=*

Disallow: /*BACKURL=*

Disallow: /*back_url=*

Disallow: /*BACK_URL=*

Disallow: /*back_url_admin=*

Disallow: /*index.php$

 

Host: site.ru

 

Sitemap: http://site.ru/sitemap.xml

 

 

на всякий случай htaccess

 

 

Options -Indexes

ErrorDocument 404 /404.php

 

RewriteCond %{HTTP_HOST} ^www.site.ru$ [NC]

RewriteRule ^(.*)$ http://site.ru/$1[R=301,L]

 

<IfModule mod_php5.c>

php_flag allow_call_time_pass_reference 1

php_flag session.use_trans_sid off

 

#php_value display_errors 1

 

#php_value mbstring.internal_encoding UTF-8

</IfModule>

 

<IfModule mod_rewrite.c>

Options +FollowSymLinks

RewriteEngine On

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-l

RewriteCond %{REQUEST_FILENAME} !-d

RewriteCond %{REQUEST_FILENAME} !/bitrix/urlrewrite.php$

RewriteRule ^(.*)$ /bitrix/urlrewrite.php [L]

RewriteRule .* - [E=REMOTE_USER:%{HTTP:Authorization}]

</IfModule>

 

<IfModule mod_dir.c>

DirectoryIndex index.php index.html

</IfModule>

 

<IfModule mod_expires.c>

ExpiresActive on

ExpiresByType image/jpeg "access plus 3 day"

ExpiresByType image/gif "access plus 3 day"

</IfModule>

 

 

сколько раз создавал, что через админ панель, что самостоятельно - выходит одинаково

(но лучше через админку делать)

Да вроде все примерно также, что не так то может быть? (((

Share this post


Link to post
Share on other sites

Дело может быть в кодировке файла. robots.txt должен быть UTF-8 без bom

Share this post


Link to post
Share on other sites

Поправить кодировку можно в Notepad++

Да она по умолчанию в note++ такая стоит. Возможно, у меня проблема с настройкой сайта - т.е. сайт находится не в нужной папке, похоже. Делался на timewebe, через хостинг видно, что есть папка public_html, но она ссылается на логин, а не на название сайта

Share this post


Link to post
Share on other sites

Да она по умолчанию в note++ такая стоит. Возможно, у меня проблема с настройкой сайта - т.е. сайт находится не в нужной папке, похоже. Делался на timewebe, через хостинг видно, что есть папка public_html, но она ссылается на логин, а не на название сайта

Попробовал просмотреть через браузер - всё показывает... Вбивал http://www.a5000.ru/robots.txt

Вот результат

User-Agent: *Disallow: # empty Disallow instruction SHOULD be thereHost: www.a5000.ruDisallow: */index.phpDisallow: /bitrix/Disallow: /*show_include_exec_time=Disallow: /*show_page_exec_time=Disallow: /*show_sql_stat=Disallow: /*bitrix_include_areas=Disallow: /*clear_cache=Disallow: /*clear_cache_session=Disallow: /*ADD_TO_COMPARE_LISTDisallow: /*ORDER_BYDisallow: /*PAGENDisallow: /*?print=Disallow: /*&print=Disallow: /*print_course=Disallow: /*?action=Disallow: /*&action=Disallow: /*register=Disallow: /*forgot_password=Disallow: /*change_password=Disallow: /*login=Disallow: /*logout=Disallow: /*auth=Disallow: /*backurl=Disallow: /*back_url=Disallow: /*BACKURL=Disallow: /*BACK_URL=Disallow: /*back_url_admin=Disallow: /*?utm_source=Disallow: /de/Disallow: /a5000/Sitemap: http://www.a5000.ru/sitemap.xml

Share this post


Link to post
Share on other sites

 

Попробовал просмотреть через браузер - всё показывает... Вбивал http://www.a5000.ru/robots.txt

Вот результат

User-Agent: *Disallow: # empty Disallow instruction SHOULD be thereHost: www.a5000.ruDisallow: */index.phpDisallow: /bitrix/Disallow: /*show_include_exec_time=Disallow: /*show_page_exec_time=Disallow: /*show_sql_stat=Disallow: /*bitrix_include_areas=Disallow: /*clear_cache=Disallow: /*clear_cache_session=Disallow: /*ADD_TO_COMPARE_LISTDisallow: /*ORDER_BYDisallow: /*PAGENDisallow: /*?print=Disallow: /*&print=Disallow: /*print_course=Disallow: /*?action=Disallow: /*&action=Disallow: /*register=Disallow: /*forgot_password=Disallow: /*change_password=Disallow: /*login=Disallow: /*logout=Disallow: /*auth=Disallow: /*backurl=Disallow: /*back_url=Disallow: /*BACKURL=Disallow: /*BACK_URL=Disallow: /*back_url_admin=Disallow: /*?utm_source=Disallow: /de/Disallow: /a5000/Sitemap: http://www.a5000.ru/sitemap.xml

Спасибо!

Ну, это я уже от безысходности продублировал файл - у меня на хостинге есть папка public_html, а также папки www.a5000.ru и пару папок со служебными поддоменами (не имеют отношения к сайту). Но сайт лежит в папке public_html, а в папке www.a5000.ru есть свой public_html, но там пусто. Вот я и забил туда копии robotx.txt и htaccess. Но что-то не уверен, что это правильно, так как index.html там содержит "добро пожаловать в таймвеб"... Может, редирект безусловный сделать? Или скопировать туда весь сайт? Получается, что мой сайт находится в с35...tmweb.ru, а не в своей собственной папке...

Share this post


Link to post
Share on other sites

Спасибо!

Ну, это я уже от безысходности продублировал файл - у меня на хостинге есть папка public_html, а также папки www.a5000.ru и пару папок со служебными поддоменами (не имеют отношения к сайту). Но сайт лежит в папке public_html, а в папке www.a5000.ru есть свой public_html, но там пусто. Вот я и забил туда копии robotx.txt и htaccess. Но что-то не уверен, что это правильно, так как index.html там содержит "добро пожаловать в таймвеб"... Может, редирект безусловный сделать? Или скопировать туда весь сайт? Получается, что мой сайт находится в с35...tmweb.ru, а не в своей собственной папке...

по логике должен быть в собственной папке, "добро пожаловать в таймвеб" - скорее всего просто заглушка, которую можно бесприпятственно удалить. Есл robors.txt оттуда виден, то и сайт должен быть виден...

 

 

Share this post


Link to post
Share on other sites

по логике должен быть в собственной папке, "добро пожаловать в таймвеб" - скорее всего просто заглушка, которую можно бесприпятственно удалить. Есл robors.txt оттуда виден, то и сайт должен быть виден...

Все, вроде разобрался, точнее разобрались - спасибо за помощь и комменты!

"Фашисты" из техподдержки хостинга сознались: Наблюдалась ошибка в файле конфигурации сервера, доступ к которому отсутствует с Вашей стороны. Ошибка была исправлена нами.

Так что щас вроде ок ))

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now
Sign in to follow this  
Followers 0

  • Recently Browsing   0 members

    No registered users viewing this page.