egmalt 35 Posted May 16, 2015 Report Share Posted May 16, 2015 Ребят, есть проблема. Сканирую сайт на битриксе netpeak spider'ом или page weight (проги для просмотра внутренней перелинковки), программа сканирует весь сайт полностью и в конце выходит в бесконечный цикл на страницы вида - http://www.domen.ru/information/news/vk.com/domen/domen@domen.ru/vk.com/domen/domen@domen.ru/domen@domen.ru/domen@domen.ru/vk.com/domen/domen@domen.ru/vk.com/domen/(где domen - адрес пациента). Получается, что битрикс почему то создает бесконечное количество страниц при обращении к странице новостей, событий и еще нескольких определенных записей. Думал, что это какие-нибудь модули автопостеров в социальные сети установлены - нет ничего, вообще девственно чистый битрикс. Всего страниц на сайте около 1.5к, но программа можем насчитать более 15 000 и продолжать работать. Всего таких "зараженных" страниц 5-6, удалил бы их, конечно, но среди них страница раздела (собственно news). Код страниц выдает то 200, то 301 -> 200. Посмотрел .htaccess, вроде ничего подозрительного там нет. В роботс их не закроешь - новости же. В какую сторону копать? Может кто сталкивался? Quote Link to post Share on other sites
mojo 79 Posted May 16, 2015 Report Share Posted May 16, 2015 Сам столкнулся с подобным неделю назад. Это netpeak spider генерирует ссылки (у меня пошёл на цикл через страницу 404). Решил выбрав в настройках сканирования "Не сканировать disallow". egmalt 1 Quote Link to post Share on other sites
egmalt 35 Posted May 16, 2015 Author Report Share Posted May 16, 2015 Спасибо, но Спайдер не может ничего генерировать на чужом хостинге) Это битрикс плодит дубли по какой-то причине. Тоже решил не тратить много времени на проблему - я закрыл все дубли в robots.txt (/*vk.com* и т.д.), мне этого для оптимизации будет достаточно. Также напишу рекомендации разработчикам. Просто хотел найти быстрый и безболезненный способ убрать эту ошибку с сайта без копания в исходниках. Quote Link to post Share on other sites
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.