egmalt

Сайт генерит бесконечные страницы вида domen.ru/events/www.vk.com/domen/

3 сообщения в этой теме

Ребят, есть проблема.

 

Сканирую сайт на битриксе netpeak spider'ом или page weight (проги для просмотра внутренней перелинковки), программа сканирует весь сайт полностью и в конце выходит в бесконечный цикл на страницы вида - http://www.domen.ru/information/news/vk.com/domen/domen@domen.ru/vk.com/domen/domen@domen.ru/domen@domen.ru/domen@domen.ru/vk.com/domen/domen@domen.ru/vk.com/domen/(где domen - адрес пациента).

 

Получается, что битрикс почему то создает бесконечное количество страниц при обращении к странице новостей, событий и еще нескольких определенных записей. Думал, что это какие-нибудь модули автопостеров в социальные сети установлены - нет ничего, вообще девственно чистый битрикс.

 

Всего страниц на сайте около 1.5к, но программа можем насчитать более 15 000 и продолжать работать. Всего таких "зараженных" страниц 5-6, удалил бы их, конечно, но среди них страница раздела (собственно news). Код страниц выдает то 200, то 301 -> 200. 

 

Посмотрел .htaccess, вроде ничего подозрительного там нет. В роботс их не закроешь - новости же.

 

В какую сторону копать? Может кто сталкивался?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Сам столкнулся с подобным неделю назад. Это netpeak spider генерирует ссылки (у меня пошёл на цикл через страницу 404). Решил выбрав в настройках сканирования "Не сканировать disallow".

egmalt понравилось это

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Спасибо, но Спайдер не может ничего генерировать на чужом хостинге) Это битрикс плодит дубли по какой-то причине.

 

Тоже решил не тратить много времени на проблему - я закрыл все дубли в robots.txt (/*vk.com* и т.д.), мне этого для оптимизации будет достаточно. Также напишу рекомендации разработчикам.

 

Просто хотел найти быстрый и безболезненный способ убрать эту ошибку с сайта без копания в исходниках.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!


Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.


Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу