Jump to content

Настройка индексирования robots.txt Помогите плиз


Recommended Posts

robots.txt сайт не индефицируется что ту не правильно? Я не могу понять... Яндекс не проиндексировал не одной странице, что надо изменить помогите плиз....Заранее спасибо. Буду очень благодарен за помощь.

robots.txt

 

User-agent: *

Disallow:

Host: pro100azart.pw


Link to post
Share on other sites

хм ну не знаю

с роботс у вас все нормально

возможно яндекс счел этот сайт не нужным, попробуйте написать в поддержку яндекса

Спасибо за ответ попробую подождать до понедельника. И последую вашему совету.

Link to post
Share on other sites
  • Модератор

Disallow лучше убрать. А вообще скорее всего странички схавал быстроробот, потом выплюнул. Ждите полноценной индексации

Link to post
Share on other sites
  • Модератор

А, что Вы хотели ???

Disallow: /  блокирует доступ ко всему сайту

 

Пустая директива 

Disallow:

(как у ТС)

разрешает индексировать все на сайте

 

директива с указанием черты запрещает.

Disallow: /

 

Так что у ТС индексация открыта, не надо вводить человека в заблуждение.

 

Сайт молодой и по первый выдаче в поиск попал индекс быстроробота. Потом страницы исчезли. Все правильно. Ждите полноценной индексации.

 

P.S. Другой вопрос: понравится ли Яндексу ваша тематика? Он вороже к таким сайтам относится, а если и к новым - то вообще.

Link to post
Share on other sites

Ждите следующего апа.

Когда вы добавили сайт в вебмастер Яндекс?

Как роботы Гугла индексирует ваш сайт?

Сайт добавил 14.01.2014

​Гугл индексирует по тетеньку. 

Link to post
Share on other sites

P.S. Другой вопрос: понравится ли Яндексу ваша тематика? Он вороже к таким сайтам относится, а если и к новым - то вообще.

С тематикой все хорошо должно быть яндекс ее не рекламирует не индексировать должен. Попробую ждать  полноценной индексации. Вы меня хоть утешали)))

Link to post
Share on other sites

А домен новый или был когда то чейты, проверьте тут: http://archive.org/web/

А то может он уже когда то давно словил АГС :)

Домен новый)

Проверил Эта страница доступна на веб-сайте!

Wayback Machine не имеют, что страницы в архив.

Link to post
Share on other sites

Disallow лучше убрать. А вообще скорее всего странички схавал быстроробот, потом выплюнул. Ждите полноценной индексации

А если убрать Disallow яндекс будет индексировать? Я пока думаю лучше подождать ище месяц потом если что удалю.

Link to post
Share on other sites

Disallow убрать нафиг. И заменить на "Allow: /"

Директива Host должна идти после Allow/Disallow, но не обязательно после последнего.

А вообще такой роботс нафиг не сдался. Предпочтительный домен и саймэп указать в панели ВМ, а роботс удалить.

Link to post
Share on other sites

Disallow убрать нафиг. И заменить на "Allow: /"

Директива Host должна идти после Allow/Disallow, но не обязательно после последнего.

А вообще такой роботс нафиг не сдался. Предпочтительный домен и саймэп указать в панели ВМ, а роботс удалить.

Если убрать Disallow

то будет примерно так?

User-agent: *

Allow: /"
Host: pro100azart.pw
Link to post
Share on other sites

А как это сделать?

http://webmaster.yandex.ru

http://www.google.com/webmasters

http://webmaster.mail.ru

http:/bing.com/webmaster

 

Это панели ВМ разных поисковиков. Добавляешь сайт, подтверждаешь права на него.

Янд: "Настройка индексирования" -> "Файлы Sitemap" и "Главное зеркало"

Гугл: "Файлы Sitemap" с главной и "Настройки сайта" с кнопки с шестеренкой.

Роботс удалить как файл.

Link to post
Share on other sites
  • 2 weeks later...

Попробуйте вообще выкинуть  файлик robots.txt

По личному опыту смысла в нем 0. Вот сайт моего конкурента, а точнее сайт который я "здераю" так у него robots.txt отродясь не было и очень себя великолепно чувствует.

Link to post
Share on other sites
  • VIP

А, что Вы хотели ???

Disallow: /  блокирует доступ ко всему сайту

Читайте здесь http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml       а то будете ждать АПЫ, а оно  тишина.

Disallow: /           - да, блокирует ВСЕ

Disallow:             - наоборот, разрешает ВСЕ.

 

Мой совет - введите свой сайт в Гугл.Вебмастер, там сразу напишут, если с РОБОТС что-то не так. У меня на прошлой неделе так было - наконструировал и сглупил, а по Ггле соориентировался что накрутил )))  

И вообще РОБОТС нужен чтобы что-то запретить - например, плагины, админку, дубли и т.п. Если вы ничего не запрещаете - зачем вообще РОБОТС? 

 

И еще - поначалу всегда каждую новую статью вводите в аддурилку Яши. Так он индексирует не 12 месяца, а 1-2 недели (новичков). Так что дела не в РОБОТС. Добра!  ;)

Link to post
Share on other sites

Попробуйте вообще выкинуть  файлик robots.txt

По личному опыту смысла в нем 0. Вот сайт моего конкурента, а точнее сайт который я "здераю" так у него robots.txt отродясь не было и очень себя великолепно чувствует.

Я думаю это мне не поможет. Я все жду чуда. Твой сайт великолепный спору нет. Посещаемости ему не занимать)). 

Link to post
Share on other sites

Попробуйте вообще выкинуть  файлик robots.txt

По личному опыту смысла в нем 0. Вот сайт моего конкурента, а точнее сайт который я "здераю" так у него robots.txt отродясь не было и очень себя великолепно чувствует.

Я думаю это мне не поможет. Я все жду чуда. Твой сайт великолепный спору нет. Посещаемости ему не занимать)). 

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...