Walk 0 Posted June 4, 2015 Report Share Posted June 4, 2015 Есть старый СДЛ с большой посещаемостью, частым добавлением новых страниц с уникальным контентом. Раньше, до 2012 года, не было никаких проблем с индексацией - публиковал статью утром, в обед она уже была в индексе.Но вот в 2012 произошел один странный глюк - из индекса вылетел целый раздел на сайте, с уникальным контентом (есть большая уверенность, что "благодаря" одному из конкурентов, уж не знаю что он там наговорил платонам), тех.поддержка яндекса ничего не отвечала по существу, и через год, при обновлении дизайна и структуры сайта раздел сам-собой вернулся в индекс (конечно, часть страниц стала "неуникальными").С тех пор замечаю очень долгую индексацию новых страниц в яндексе. Опять же, сайт не маленький, старый, посещаемый, а новые страницы попадают в индекс месяц-два.И вот еще одну странность заметил - яндекс бот страницы видит, но в индекс не добавляет:Посмотрев страницу, каждый может убедиться, что контент на ней уникальный, и сделана она для людей. На сайт она была добавлена 20 мая.В чем может быть причина? Кто-нибудь сталкивался с тем, что у популярного, постоянно наполняемого сайта, вдруг возникали жуткие проблемы с попаданием новых страниц в индекс?P.S. На страницу есть ссылка с главной, но это никак не ускоряет индексацию. Ссылки с твиттера - аналогично, не помогают.P.P.S. С платоном уже веду переписку, пока получаю стандартные "отписки". Quote Link to post Share on other sites
roman48 57 Posted June 4, 2015 Report Share Posted June 4, 2015 а карта где? User-agent: *Disallow: /indexDisallow: /*?Disallow: /*&Disallow: /*=Disallow: /*%Disallow: /adminDisallow: /cacheDisallow: /converge_Disallow: /hooksDisallow: /ips_Disallow: /retailDisallow: /publicDisallow: /membersDisallow: /tagsDisallow: /*__sortDisallow: /*__calendDisallow: /*__statusDisallow: /*__friendsDisallow: /statusesAllow: /index.php?app=forums&module=extras§ion=boardrulesAllow: /index.php?app=forums&module=forums§ion=findpost&pid=Host: webimho.ru Quote Link to post Share on other sites
roman48 57 Posted June 4, 2015 Report Share Posted June 4, 2015 может вы про карту забыли Quote Link to post Share on other sites
Walk 0 Posted June 4, 2015 Author Report Share Posted June 4, 2015 может вы про карту забыли Вы про карту sitemap.xml? Причина не в ней, это точно. P.S. При чем тут сайт webimho.ru? На скринах же видно, что речь про diablo1.ru Quote Link to post Share on other sites
roman48 57 Posted June 4, 2015 Report Share Posted June 4, 2015 без карты сайт,равносильно что человека в лес отвести завязать глаза и сказать выходи Quote Link to post Share on other sites
roman48 57 Posted June 4, 2015 Report Share Posted June 4, 2015 как робот будет индексовать? Quote Link to post Share on other sites
roman48 57 Posted June 4, 2015 Report Share Posted June 4, 2015 не надо ни чего нового искать,надо вспомнить хорошо забытое старое. Quote Link to post Share on other sites
Walk 0 Posted June 4, 2015 Author Report Share Posted June 4, 2015 без карты сайт,равносильно что человека в лес отвести завязать глаза и сказать выходи Я знаю что говорю. У меня есть сайты без sitemap.xml вообще, с намного меньшими параметрами (посещаемость, страницы, частота добавления новых страниц), и новые страницы на них попадают в индекс за 2-3 дня. Quote Link to post Share on other sites
roman48 57 Posted June 4, 2015 Report Share Posted June 4, 2015 сделать карту сделать ответ от сервера Last-Modified: и все наладится. тем более форум да там и с картой заблудишся Quote Link to post Share on other sites
eKawazoe 252 Posted June 4, 2015 Report Share Posted June 4, 2015 без карты сайт,равносильно что человека в лес отвести завязать глаза и сказать выходи Мистер Андерсон наоборот Лично я проводил эксперименты, а Вы? Уверены, что карта сайта настолько рулит?) Я знаю что говорю. У меня есть сайты без sitemap.xml вообще, с намного меньшими параметрами (посещаемость, страницы, частота добавления новых страниц), и новые страницы на них попадают в индекс за 2-3 дня. Да можно и за 30 сек попасть в индекс, у кого что имеется. И сайтмэп тут не при чём. Я по теме не совсем понял. Вы требуете индекс без апа? Типа у Вас быстробот должен быть обязательно? Последний ап: 16 мая 2015 [1:42 RU+EN] 1:42 Текстовый апдейт: выложен индекс по 8 мая 2015 Робот страницу схавал, но в основной индекс не запихнул. Quote Link to post Share on other sites
Walk 0 Posted June 4, 2015 Author Report Share Posted June 4, 2015 Я по теме не совсем понял. Вы требуете индекс без апа? Типа у Вас быстробот должен быть обязательно?Вот примеры сайтов, где новые страницы попадают в индекс за часы/день, и таких сайтов масса: http://glasscannon.ru/2015/06/heroes-of-the-storm-podarki-dlya-igrokov-hearthstone-i-wow/ Опубликовано 3.06.15, 04.06.15 уже в индексе http://miped.ru/free/6662-poluchaem-igru-pixel-puzzles-japan-besplatno-v-steam-ot-indiegala.html Опубликовано 3.06.15, 04.06.15 уже в индексе http://shazoo.ru/2015/06/03/30599/fallout-4-anonsirovan-reliz-na-pc-ps4-i-xbox-one-pervyj-skrinshot Опубликовано 3.06.15, 04.06.15 уже в индексе Quote Link to post Share on other sites
eKawazoe 252 Posted June 4, 2015 Report Share Posted June 4, 2015 Вот примеры сайтов, где новые страницы попадают в индекс за часы-день: http://glasscannon.ru/2015/06/heroes-of-the-storm-podarki-dlya-igrokov-hearthstone-i-wow/ Опубликовано 3.06.15, 04.06.15 уже в индексе http://miped.ru/free/6662-poluchaem-igru-pixel-puzzles-japan-besplatno-v-steam-ot-indiegala.html Опубликовано 3.06.15, 04.06.15 уже в индексе http://shazoo.ru/2015/06/03/30599/fallout-4-anonsirovan-reliz-na-pc-ps4-i-xbox-one-pervyj-skrinshot Опубликовано 3.06.15, 04.06.15 уже в индексе Это быстробот. Не основной индекс. Быстрый робот Яндекса - специальный поисковой "паук", который ищет актуальные новости и ставит их в специальную "быстровыдачу", которая не зависит от апдейтов Яндекса и обновляется в реальном времени. Источник: http://bystrobot.com/Welcome/Faq В основном, это для новостных сайтов. Если Ваш сайт заброшен, на нём, скорее всего, быстробота не будет. Ибо он там и не нужен. Я пихаю свои потенциально-донорные статьи в быстробота через трастовый твиттер. Quote Link to post Share on other sites
roman48 57 Posted June 4, 2015 Report Share Posted June 4, 2015 рулит. первым делом бот проверяет файл робот и ответ от сервера, если их нет он будет по своему индексировать.индексировать он будет, но уже по своему,как считает нужным Quote Link to post Share on other sites
roman48 57 Posted June 4, 2015 Report Share Posted June 4, 2015 а вы попробуйте зделать а через полтора месяца напишите Quote Link to post Share on other sites
Walk 0 Posted June 4, 2015 Author Report Share Posted June 4, 2015 Это быстробот. Не основной индекс.Хорошо перефразирую вопрос: почему быстроробот перестал посещать крупный сдл? В день добавляется по 2-3 страницы, с 19 мая и выхода Ведьмака 3 - так вообще по 10 штук в день. Еще раз повторю суть вопроса: до 2012 года никаких проблем не было, новые страницы попадали в индекс за часы, как и на многих живых сдл. Но потом что-то произошло, и индекса приходится ждать неделями. Что произошло, и как это исправить? Quote Link to post Share on other sites
roman48 57 Posted June 4, 2015 Report Share Posted June 4, 2015 даже у больших сайтов есть карта.почему вы считаете что ваш сайт не нуждается в карте? User-agent: Mediapartners-GoogleDisallow: /interface/pda/User-agent: Mediapartners-GoogleDisallow: /interface/pda/User-agent: *Disallow: /goDisallow: /clickDisallow: /stat/Disallow: /cgi-bin/Disallow: /search/Disallow: /jsearch/Disallow: /msearch/Disallow: /interface/pda/Disallow: /ribbon.phpDisallow: /journal_proc.phpDisallow: /journalshownewcomments.phpDisallow: /evernote/like.phpDisallow: /twitter/ptt.phpDisallow: /im/Disallow: /relations.phpDisallow: /photo_postcomment.phpDisallow: /member.phpDisallow: /member2.phpDisallow: /playlist.phpDisallow: /rpg.phpDisallow: /top/Disallow: /im.phpDisallow: /users/*/rssDisallow: /users/*/rss/Disallow: /users/*/foafDisallow: /users/*/foaf/Disallow: /community/*/rssDisallow: /community/*/rss/Disallow: /community/*/foafDisallow: /community/*/foaf/Disallow: /jsearch/Disallow: /msearch/Disallow: /search/Host: www.liveinternet.ruSitemap: http://www.liveinternet.ru/sitemap.php?sitemap_type=1Sitemap: http://www.liveinternet.ru/sitemap.php?sitemap_type=2Sitemap: http://www.liveinternet.ru/sitemap.php?sitemap_type=3Sitemap: http://www.liveinternet.ru/sitemap.php?sitemap_type=4Sitemap: http://www.liveinternet.ru/sitemap.php?sitemap_type=5 Quote Link to post Share on other sites
Модератор files 2807 Posted June 4, 2015 Модератор Report Share Posted June 4, 2015 а вы попробуйте зделать а через полтора месяца напишите А что вы хотите смотреть? Карта пересматривается раз в 2 недели. Ситемап - это для самописных html. Все современные движки прекрасно себя чувствуют без ситепам. Вы попробуйте удалить ситемап а через полтора месяца напишите. Ок? Walk, eKawazoe and webostrov 3 Quote Link to post Share on other sites
eKawazoe 252 Posted June 4, 2015 Report Share Posted June 4, 2015 Хорошо перефразирую вопрос: почему быстроробот перестал посещать крупный сдл? В день добавляется по 2-3 страницы, с 19 мая и выхода Ведьмака 3 - так вообще по 10 штук в день. Еще раз повторю суть вопроса: до 2012 года никаких проблем не было, новые страницы попадали в индекс за часы, как и на многих живых сдл. Но потом что-то произошло, и индекса приходится ждать неделями. Суть вопроса - что произошло, и как это исправить. Вы потеряли быстробота. Теперь индекс сайта - только основной индекс. Варианты: а) Попробуйте действительно карту сайта (на будущее пригодится). б) Постинг в социальных сетях: группа ВК + импорт в трастовый твиттер. Если есть несколько акков твиттера - лучше прогон по всем. И всё это зависит ещё от отношения Яндекса к Вашему сайту. Мне вариант б помогает на 90%. Что с картой, что без - один фиг =) Но она пригодится. Quote Link to post Share on other sites
roman48 57 Posted June 4, 2015 Report Share Posted June 4, 2015 нет я удалять ни чего не буду. вы сами как хотите. Quote Link to post Share on other sites
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.