Сайт генерит бесконечные страницы вида domen.ru/events/www.vk.com/domen/

[egmalt 35]

Ребят, есть проблема.

 

Сканирую сайт на битриксе netpeak spider'ом или page weight (проги для просмотра внутренней перелинковки), программа сканирует весь сайт полностью и в конце выходит в бесконечный цикл на страницы вида - http://www.domen.ru/information/news/vk.com/domen/domen@domen.ru/vk.com/domen/domen@domen.ru/domen@domen.ru/domen@domen.ru/vk.com/domen/domen@domen.ru/vk.com/domen/(где domen - адрес пациента).

 

Получается, что битрикс почему то создает бесконечное количество страниц при обращении к странице новостей, событий и еще нескольких определенных записей. Думал, что это какие-нибудь модули автопостеров в социальные сети установлены - нет ничего, вообще девственно чистый битрикс.

 

Всего страниц на сайте около 1.5к, но программа можем насчитать более 15 000 и продолжать работать. Всего таких "зараженных" страниц 5-6, удалил бы их, конечно, но среди них страница раздела (собственно news). Код страниц выдает то 200, то 301 -> 200. 

 

Посмотрел .htaccess, вроде ничего подозрительного там нет. В роботс их не закроешь - новости же.

 

В какую сторону копать? Может кто сталкивался?

[mojo 79]

Сам столкнулся с подобным неделю назад. Это netpeak spider генерирует ссылки (у меня пошёл на цикл через страницу 404). Решил выбрав в настройках сканирования "Не сканировать disallow".

[egmalt 35]

Спасибо, но Спайдер не может ничего генерировать на чужом хостинге) Это битрикс плодит дубли по какой-то причине.

 

Тоже решил не тратить много времени на проблему - я закрыл все дубли в robots.txt (/*vk.com* и т.д.), мне этого для оптимизации будет достаточно. Также напишу рекомендации разработчикам.

 

Просто хотел найти быстрый и безболезненный способ убрать эту ошибку с сайта без копания в исходниках.