Здравствуйте! Хочу предупредить всех форумчан, чтобы были внимательны с хостингом Бегет. Поддержка хостинга Бегет может без уведомления менять файл robots.txt, из-за того, что роботы Яндекс и гугл создают нагрузку серверу. Ладно бы, если просто поставили crawl-delay, так нет, ставят Disallow: /раздел/, после чего все нужные страницы вылетают из индекса поисковых систем. Сообщаю все это для информации, чтобы все знали какие риски вас могут ожидать на этом хостинге