Jump to content

Настройка индексирования robots.txt Помогите плиз


Recommended Posts

robots.txt сайт не индефицируется что ту не правильно? Я не могу понять... Яндекс не проиндексировал не одной странице, что надо изменить помогите плиз....Заранее спасибо. Буду очень благодарен за помощь.

robots.txt

 

User-agent: *

Disallow:

Host: pro100azart.pw


Link to post
Share on other sites

хм ну не знаю

с роботс у вас все нормально

возможно яндекс счел этот сайт не нужным, попробуйте написать в поддержку яндекса

Спасибо за ответ попробую подождать до понедельника. И последую вашему совету.

Link to post
Share on other sites
  • Модератор

Disallow лучше убрать. А вообще скорее всего странички схавал быстроробот, потом выплюнул. Ждите полноценной индексации

Link to post
Share on other sites
  • Модератор

А, что Вы хотели ???

Disallow: /  блокирует доступ ко всему сайту

 

Пустая директива 

Disallow:

(как у ТС)

разрешает индексировать все на сайте

 

директива с указанием черты запрещает.

Disallow: /

 

Так что у ТС индексация открыта, не надо вводить человека в заблуждение.

 

Сайт молодой и по первый выдаче в поиск попал индекс быстроробота. Потом страницы исчезли. Все правильно. Ждите полноценной индексации.

 

P.S. Другой вопрос: понравится ли Яндексу ваша тематика? Он вороже к таким сайтам относится, а если и к новым - то вообще.

Link to post
Share on other sites

Ждите следующего апа.

Когда вы добавили сайт в вебмастер Яндекс?

Как роботы Гугла индексирует ваш сайт?

Сайт добавил 14.01.2014

​Гугл индексирует по тетеньку. 

Link to post
Share on other sites

P.S. Другой вопрос: понравится ли Яндексу ваша тематика? Он вороже к таким сайтам относится, а если и к новым - то вообще.

С тематикой все хорошо должно быть яндекс ее не рекламирует не индексировать должен. Попробую ждать  полноценной индексации. Вы меня хоть утешали)))

Link to post
Share on other sites

А домен новый или был когда то чейты, проверьте тут: http://archive.org/web/

А то может он уже когда то давно словил АГС :)

Домен новый)

Проверил Эта страница доступна на веб-сайте!

Wayback Machine не имеют, что страницы в архив.

Link to post
Share on other sites

Disallow лучше убрать. А вообще скорее всего странички схавал быстроробот, потом выплюнул. Ждите полноценной индексации

А если убрать Disallow яндекс будет индексировать? Я пока думаю лучше подождать ище месяц потом если что удалю.

Link to post
Share on other sites

Disallow убрать нафиг. И заменить на "Allow: /"

Директива Host должна идти после Allow/Disallow, но не обязательно после последнего.

А вообще такой роботс нафиг не сдался. Предпочтительный домен и саймэп указать в панели ВМ, а роботс удалить.

Link to post
Share on other sites

Disallow убрать нафиг. И заменить на "Allow: /"

Директива Host должна идти после Allow/Disallow, но не обязательно после последнего.

А вообще такой роботс нафиг не сдался. Предпочтительный домен и саймэп указать в панели ВМ, а роботс удалить.

Если убрать Disallow

то будет примерно так?

User-agent: *

Allow: /"
Host: pro100azart.pw
Link to post
Share on other sites

А как это сделать?

http://webmaster.yandex.ru

http://www.google.com/webmasters

http://webmaster.mail.ru

http:/bing.com/webmaster

 

Это панели ВМ разных поисковиков. Добавляешь сайт, подтверждаешь права на него.

Янд: "Настройка индексирования" -> "Файлы Sitemap" и "Главное зеркало"

Гугл: "Файлы Sitemap" с главной и "Настройки сайта" с кнопки с шестеренкой.

Роботс удалить как файл.

Link to post
Share on other sites
  • 2 weeks later...

Попробуйте вообще выкинуть  файлик robots.txt

По личному опыту смысла в нем 0. Вот сайт моего конкурента, а точнее сайт который я "здераю" так у него robots.txt отродясь не было и очень себя великолепно чувствует.

Link to post
Share on other sites
  • VIP

А, что Вы хотели ???

Disallow: /  блокирует доступ ко всему сайту

Читайте здесь http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml       а то будете ждать АПЫ, а оно  тишина.

Disallow: /           - да, блокирует ВСЕ

Disallow:             - наоборот, разрешает ВСЕ.

 

Мой совет - введите свой сайт в Гугл.Вебмастер, там сразу напишут, если с РОБОТС что-то не так. У меня на прошлой неделе так было - наконструировал и сглупил, а по Ггле соориентировался что накрутил )))  

И вообще РОБОТС нужен чтобы что-то запретить - например, плагины, админку, дубли и т.п. Если вы ничего не запрещаете - зачем вообще РОБОТС? 

 

И еще - поначалу всегда каждую новую статью вводите в аддурилку Яши. Так он индексирует не 12 месяца, а 1-2 недели (новичков). Так что дела не в РОБОТС. Добра!  ;)

Link to post
Share on other sites

Попробуйте вообще выкинуть  файлик robots.txt

По личному опыту смысла в нем 0. Вот сайт моего конкурента, а точнее сайт который я "здераю" так у него robots.txt отродясь не было и очень себя великолепно чувствует.

Я думаю это мне не поможет. Я все жду чуда. Твой сайт великолепный спору нет. Посещаемости ему не занимать)). 

Link to post
Share on other sites

Попробуйте вообще выкинуть  файлик robots.txt

По личному опыту смысла в нем 0. Вот сайт моего конкурента, а точнее сайт который я "здераю" так у него robots.txt отродясь не было и очень себя великолепно чувствует.

Я думаю это мне не поможет. Я все жду чуда. Твой сайт великолепный спору нет. Посещаемости ему не занимать)). 

Link to post
Share on other sites

Please sign in to comment

You will be able to leave a comment after signing in



Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...