Jump to content

Паук вдруг решил загрузить 100000 страниц + третий ап в минуса

Recommended Posts


Письмо Платону:
Уважаемый платон, вы не разобрались даже в проблеме. У меня в ЯндексВебмастере, сотни тысяч igosu.ru/forum/forums/143-Team-Fortress-2? Вот таких вот страниц - ЭТО ПРОСТО ПРИМЕР. Зайдите и сами посмотрите.. он пустые разделы форума.. загружает тысячами!  *?y?* - тут совершенно не поможет!
 igosu.ru/forum/forums/175-Contract-Wars? - загружено роботом 13 ноября 4060 страниц а 21 ноября уже 4839 страниц, вопрос, зачем ваш робот загружает тысячами один и тот же УРЛ. Разберитесь с данной ситуацией. 
Подобных УРЛов - уже робот съел 200 000. Это не нормально.
Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

  • Create New...