Jump to content

Яндекс видит новые страницы, но не добавляет их в индекс


Recommended Posts

Есть старый СДЛ с большой посещаемостью, частым добавлением новых страниц с уникальным контентом. Раньше, до 2012 года, не было никаких проблем с индексацией - публиковал статью утром, в обед она уже была в индексе.

Но вот в 2012 произошел один странный глюк - из индекса вылетел целый раздел на сайте, с уникальным контентом (есть большая уверенность, что "благодаря" одному из конкурентов, уж не знаю что он там наговорил платонам), тех.поддержка яндекса ничего не отвечала по существу, и через год, при обновлении дизайна и структуры сайта раздел сам-собой вернулся в индекс (конечно, часть страниц стала "неуникальными").

С тех пор замечаю очень долгую индексацию новых страниц в яндексе. Опять же, сайт не маленький, старый, посещаемый, а новые страницы попадают в индекс месяц-два.

И вот еще одну странность заметил - яндекс бот страницы видит, но в индекс не добавляет:

rU9YbZ.jpg

FvhA5X.jpg

Посмотрев страницу, каждый может убедиться, что контент на ней уникальный, и сделана она для людей. На сайт она была добавлена 20 мая.

В чем может быть причина? Кто-нибудь сталкивался с тем, что у популярного, постоянно наполняемого сайта, вдруг возникали жуткие проблемы с попаданием новых страниц в индекс?

P.S. На страницу есть ссылка с главной, но это никак не ускоряет индексацию. Ссылки с твиттера - аналогично, не помогают.
P.P.S. С платоном уже веду переписку, пока получаю стандартные "отписки".

Link to post
Share on other sites

а карта где?

User-agent: *
Disallow: /index
Disallow: /*?
Disallow: /*&
Disallow: /*=
Disallow: /*%
Disallow: /admin
Disallow: /cache
Disallow: /converge_
Disallow: /hooks
Disallow: /ips_
Disallow: /retail
Disallow: /public
Disallow: /members
Disallow: /tags
Disallow: /*__sort
Disallow: /*__calend
Disallow: /*__status
Disallow: /*__friends
Disallow: /statuses
Allow: /index.php?app=forums&module=extras&section=boardrules
Allow: /index.php?app=forums&module=forums&section=findpost&pid=
Host: webimho.ru

Link to post
Share on other sites

может вы про карту забыли

Вы про карту sitemap.xml? Причина не в ней, это точно.

 

P.S. При чем тут сайт webimho.ru? На скринах же видно, что речь про diablo1.ru

Link to post
Share on other sites

без карты сайт,равносильно что человека в лес отвести завязать глаза и сказать выходи

Я знаю что говорю. У меня есть сайты без sitemap.xml вообще, с намного меньшими параметрами (посещаемость, страницы, частота добавления новых страниц), и новые страницы на них попадают в индекс за 2-3 дня.

Link to post
Share on other sites

без карты сайт,равносильно что человека в лес отвести завязать глаза и сказать выходи

Мистер Андерсон наоборот :D

Лично я проводил эксперименты, а Вы? Уверены, что карта сайта настолько рулит?)

 

Я знаю что говорю. У меня есть сайты без sitemap.xml вообще, с намного меньшими параметрами (посещаемость, страницы, частота добавления новых страниц), и новые страницы на них попадают в индекс за 2-3 дня.

Да можно и за 30 сек попасть в индекс, у кого что имеется. И сайтмэп тут не при чём.

 

Я по теме не совсем понял. Вы требуете индекс без апа? Типа у Вас быстробот должен быть обязательно?

 

Последний ап:

16 мая 2015 [1:42 RU+EN] 

1:42 Текстовый апдейт: выложен индекс по 8 мая 2015 

 

Робот страницу схавал, но в основной индекс не запихнул.

Link to post
Share on other sites

Я по теме не совсем понял. Вы требуете индекс без апа? Типа у Вас быстробот должен быть обязательно?

Вот примеры сайтов, где новые страницы попадают в индекс за часы/день, и таких сайтов масса:

 

http://glasscannon.ru/2015/06/heroes-of-the-storm-podarki-dlya-igrokov-hearthstone-i-wow/

Опубликовано 3.06.15, 04.06.15 уже в индексе

 

http://miped.ru/free/6662-poluchaem-igru-pixel-puzzles-japan-besplatno-v-steam-ot-indiegala.html

Опубликовано 3.06.15, 04.06.15 уже в индексе

 

http://shazoo.ru/2015/06/03/30599/fallout-4-anonsirovan-reliz-na-pc-ps4-i-xbox-one-pervyj-skrinshot

Опубликовано 3.06.15, 04.06.15 уже в индексе

Link to post
Share on other sites

Вот примеры сайтов, где новые страницы попадают в индекс за часы-день:

 

http://glasscannon.ru/2015/06/heroes-of-the-storm-podarki-dlya-igrokov-hearthstone-i-wow/

Опубликовано 3.06.15, 04.06.15 уже в индексе

 

http://miped.ru/free/6662-poluchaem-igru-pixel-puzzles-japan-besplatno-v-steam-ot-indiegala.html

Опубликовано 3.06.15, 04.06.15 уже в индексе

 

http://shazoo.ru/2015/06/03/30599/fallout-4-anonsirovan-reliz-na-pc-ps4-i-xbox-one-pervyj-skrinshot

Опубликовано 3.06.15, 04.06.15 уже в индексе

Это быстробот. Не основной индекс.

 

Быстрый робот Яндекса - специальный поисковой "паук", который ищет актуальные новости и ставит их в специальную "быстровыдачу", которая не зависит от апдейтов Яндекса и обновляется в реальном времени.

Источник: http://bystrobot.com/Welcome/Faq

 

В основном, это для новостных сайтов. Если Ваш сайт заброшен, на нём, скорее всего, быстробота не будет. Ибо он там и не нужен.

 

Я пихаю свои потенциально-донорные статьи в быстробота через трастовый твиттер.

Link to post
Share on other sites

рулит. первым делом бот проверяет файл робот и ответ от сервера, если их нет он будет по своему индексировать.индексировать он будет, но уже по своему,как считает нужным

Link to post
Share on other sites

Это быстробот. Не основной индекс.

Хорошо перефразирую вопрос: почему быстроробот перестал посещать крупный сдл?

 

В день добавляется по 2-3 страницы, с 19 мая и выхода Ведьмака 3 - так вообще по 10 штук в день.

 

Еще раз повторю суть вопроса: до 2012 года никаких проблем не было, новые страницы попадали в индекс за часы, как и на многих живых сдл. Но потом что-то произошло, и индекса приходится ждать неделями. Что произошло, и как это исправить?

Link to post
Share on other sites

даже у больших сайтов есть карта.почему вы считаете что ваш сайт не нуждается в карте?

User-agent: Mediapartners-Google
Disallow: /interface/pda/

User-agent: Mediapartners-Google
Disallow: /interface/pda/

User-agent: *
Disallow: /go
Disallow: /click
Disallow: /stat/
Disallow: /cgi-bin/
Disallow: /search/
Disallow: /jsearch/
Disallow: /msearch/
Disallow: /interface/pda/
Disallow: /ribbon.php
Disallow: /journal_proc.php
Disallow: /journalshownewcomments.php
Disallow: /evernote/like.php
Disallow: /twitter/ptt.php
Disallow: /im/
Disallow: /relations.php
Disallow: /photo_postcomment.php
Disallow: /member.php
Disallow: /member2.php
Disallow: /playlist.php
Disallow: /rpg.php
Disallow: /top/
Disallow: /im.php
Disallow: /users/*/rss
Disallow: /users/*/rss/
Disallow: /users/*/foaf
Disallow: /users/*/foaf/
Disallow: /community/*/rss
Disallow: /community/*/rss/
Disallow: /community/*/foaf
Disallow: /community/*/foaf/
Disallow: /jsearch/
Disallow: /msearch/
Disallow: /search/
Host: www.liveinternet.ru
Sitemap: http://www.liveinternet.ru/sitemap.php?sitemap_type=1
Sitemap: http://www.liveinternet.ru/sitemap.php?sitemap_type=2
Sitemap: http://www.liveinternet.ru/sitemap.php?sitemap_type=3
Sitemap: http://www.liveinternet.ru/sitemap.php?sitemap_type=4
Sitemap: http://www.liveinternet.ru/sitemap.php?sitemap_type=5

Link to post
Share on other sites
  • Модератор

а вы попробуйте зделать а через полтора месяца напишите

А что вы хотите смотреть? Карта пересматривается раз в 2 недели. Ситемап - это для самописных html. Все современные движки прекрасно себя чувствуют без ситепам.

Вы попробуйте удалить ситемап а через полтора месяца напишите. Ок?

Link to post
Share on other sites

Хорошо перефразирую вопрос: почему быстроробот перестал посещать крупный сдл?

 

В день добавляется по 2-3 страницы, с 19 мая и выхода Ведьмака 3 - так вообще по 10 штук в день.

 

Еще раз повторю суть вопроса: до 2012 года никаких проблем не было, новые страницы попадали в индекс за часы, как и на многих живых сдл. Но потом что-то произошло, и индекса приходится ждать неделями. Суть вопроса - что произошло, и как это исправить.

Вы потеряли быстробота. Теперь индекс сайта - только основной индекс.

Варианты:

а) Попробуйте действительно карту сайта (на будущее пригодится).

б) Постинг в социальных сетях:

группа ВК + импорт в трастовый твиттер. Если есть несколько акков твиттера - лучше прогон по всем.

 

И всё это зависит ещё от отношения Яндекса к Вашему сайту.

Мне вариант б помогает на 90%.

Что с картой, что без - один фиг =) Но она пригодится.

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...