Search the Community

Showing results for tags 'robots'.



More search options

  • Search By Tags

    Type tags separated by commas.
  • Search By Author

Content Type


Forums

  • Поисковые системы
    • Поисковая оптимизация
    • Яндекс
    • Google
    • Другие поисковики
    • SMO
    • Каталоги
    • Инструкции и уроки
  • Основные форумы
    • Оценка сайта
    • Новости
    • Контекстная реклама
    • Партнерские программы
    • Сервисы, программы и скрипты
    • Дизайн
    • Домены
    • Биржа сайтов
    • Сайтостроительство
    • Хостинг
    • Финансы
    • Разное
    • Конкурсы
  • Работа
    • Правила раздела
    • Дизайн
    • Копирайт/Рерайт
    • SEO
    • SMO/SMM
    • Программирование
    • Разное
  • Другое
    • О нас
    • Black List
    • White List
    • Оффтопик

Skype


Местоположение


Интересы


Ваш сайт


Профиль ID

Found 10 results

  1. Доброго времени суток, коллеги! Проверял файл робота в Яндексе и Гугле. Яндекс пишет, что все хорошо, а Гугл написал, что есть 1 ошибка и 2 предупреждения и подсветил 3 строки: Clean-Param: utm_source&utm_medium&utm_campaign, Crawl-Delay: 0.5, Crawl-Delay: 5.Как можно решить эту ситуацию? Если Яндекс поддерживает их, а Гугл нет, то стоит ли их убрать? User-agent: * Disallow: /wp-admin/ Disallow: /wp-json/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /plugins/ Disallow: /search/ Disallow: /cart/ Disallow: /my-account/ Disallow: */?s= Disallow: *sort= Disallow: *view= Disallow: *utm= Disallow: /?s* Disallow: */page/ Crawl-Delay: 5 User-agent: GoogleBot Disallow: /wp-admin/ Disallow: /plugins/ Disallow: /search/ Disallow: /cart/ Disallow: */?s= Disallow: *sort= Disallow: *view= Disallow: *utm= Allow: /plugins/*.css Allow: /plugins/*.js Allow: /plugins/*.png Allow: /plugins/*.jpg Allow: /plugins/*.gif User-agent: Yandex Disallow: /wp-admin/ Disallow: /plugins/ Disallow: /search/ Disallow: /cart/ Disallow: */?s= Disallow: *sort= Disallow: *view= Allow: /plugins/*.css Allow: /plugins/*.js Allow: /plugins/*.png Allow: /plugins/*.jpg Allow: /plugins/*.gif Clean-Param: utm_source&utm_medium&utm_campaign Crawl-Delay: 0.5
  2. Всем привет. Делаю сайт, пока только главная страница. И возникли 2 проблемы 1) С файлом Роботс. Я заливаю на хостинг нужный файл, но при переходе названиесайта/роботс.txt Показывается: Хотя роботс в корневом каталоге другой И не могу сделать чтобы отображался нужный. 2) Проблема 2 — это редирект Домен раньше был другим сайтом (партнерским) и на него вели ссылки: навзаниесайта/маркерайди Как сделать редирект в файле htaccess Если перешли по ссылке навзаниесайта/маркерайди редиректом попадали на главную страницу названиесайта.ру. Сейчас если зайти на сайт по ссылке навзаниесайта/маркерайди, то по идее должна открыться страница 404 ведь страницы не существует, но открывается главная страница сайта с адресом навзаниесайта/маркерайди
  3. Здравствуйте, вот в чем проблема, поставил на сайт https:// протокол. Вопрос как сделать чтобы читался robots , P.S настраивал через htaccess Вот мои условия: RewriteEngine On RewriteCond %{HTTP:PORT} !^443$ RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R] RewriteCond %{HTTP_HOST} ^www\.hardsafe\.ru$ RewriteRule .* https://hardsafe.ru/$0 [QSA,L,R=permanent]
  4. Сидел, как всегда ничего не делал и возник у меня вопрос: а надо ли закрывать от индексации категории? С одной стороны, есть риск получить нехилую пачку дублей, с другой же стороны, есть риск потерять приличную часть трафа по СЧ запросам. У кого какое мнение?
  5. надо запретить сайт.com индексировать правильно ли я сделал в роботсе прописанно так Индексироватся будет только сайт.ru ? User-agent: * Host: сайт.ru Sitemap: http://сайт.ru/sitemap.xml и еще .htaccess прописанно RewriteEngine On RewriteCond %{HTTP_HOST} сайт.com RewriteRule (.*) http://сайт.ru/$1 [R=301,L] # Rewrite www RewriteCond %{HTTP_HOST} ^www.сайт.ru$ RewriteRule (.*) http://сайт.ru/$1 [R=301,L]
  6. Доброго времени суток, ребята! Сегодня у меня совсем нет желания умничать, составлять 84 пункта, которые обязательно должен знать юный seo-шник, бить себя в грудь и говорить, что надо обязательно бороться с дублями страниц, заниматься эффективным линкбилдингом. Я даже не буду рассказывать как повысить конверсию и посещаемость на 18 тысяч процентов. Чуть больше года назад я был новичком на seo-просторах. Но за последние месяцы получил некоторый опыт, которым хочу поделиться. Да, прямо как опытный дед-пенсионер. Так что, как говорится: Если ты смелый, ловкий и умелый, Джунгли тебя зовут! Совет №1 Следите за robots.txt! Роботс - он как центральный защитник провинциальной футбольной команды. Когда его нет на поле - вроде и не страшно, но если он появился и косячит, то принесет много проблем, а болельщики произнесут чудесные ругательства. Я просто расскажу историю после которой все станет понятно. На одном из моих проектов проходил полномасштабный редизайн, делали его на тестовом домене, домен этот в robots.txt был закрыт от индексации. Я выполнил свою работу, наступил отпуск, и я счастливый исследовал юг Франции и Париж. А в это время домен дизайн перенесли на основной домен. Вместе с тестовым роботсом. Когда я вернулся все страницы, за исключением главной, были исключены из поиска. Google работает оперативно, а вот полноценного возвращения в "Яндекс" я ждал около трех недель. Так что следите за этим чудесным файлом. Хотя бы читайте уведомления из кабинетов Google и Яндекс.Вебмастер. Совет №2 При продвижении по нескольким регионам добейтесь от заказчика всероссийского номера 8800. Распространенная ситуация - заказчик хочет продвигаться в нескольких городах. Но при этом у него нет ничего: ни офисов, ни телефонов, ни умеренного чувства скромности. Имеется два варианта. Первый - сказать , что ничего с этим не получится, "Яндекс" суров в вопросах геозависимости, открывайте офисы. Вариант второй - добавить на сайт общероссийский номер, начинающийся на 8-800, по которому можно звонить из любого региона. Закидываете на сайт контакт любого офисного центра в другом городе, отправляете заявку в Яндекс.Справочник, прикрепляете телефон общероссийский телефон. С десяток подобных заявок у меня одобрили. Ни разу не отказали. Совет №3 Будьте суровы, но справедливы с копирайтерами. По моим наблюдениям, копирайтеры - одни из самых халтурных людей на планете. Охранник из "Магнита", разгадывая сканворд, порой тратит больше умственных усилий. Весомая часть копирайтеров (особенно на бирже) работает по схеме "Возьму в работу 84 заказа, чего-нибудь напишу". На выходе получаются тексты подобного стиля: "Вешалки - очень нужная вещь в доме. На нее вешают одежду. Наш магазин предлагает купить качественные вешалки. Наша команда профессионалов нацелена на качество, мы доставим товар по низкой цене в кратчайшие сроки". Однажды я получил текст по коврам, в котором слово "качественный" употреблялось чаще, чем слово "ковер". Последнее время я стараюсь дать копирайтерам максимально подробное ТЗ, в котором четко указываю, что подобная халтура не пройдет. ТЗ - важный документ, если копирайтер согласился с заданием, то требуйте от него полного выполнения, имеете на это право. В конце концов, никто не заставлял этого человека браться за данную работу. Если схалтурить и поставить задачу вот так: "Нужно написать текст про вешалки. 1500 символов", то копирайтер с полным спокойствием будет писать для вас лабуду. К слову, вот неплохой ресурс https://glvrd.ru/. Помогает вычистить "водичку" из текста. Совет №4 Не бойтесь браться за проект с нуля. В последние полгода "Яндекс" замечен в любви к новым сайтам. Ребята из "Яндекса" тестируют новый алгоритм, который перемешивает выдачу, подбрасывая в топ-10 свеженькие ресурсы. Действительно, а вдруг новый сайт лучше уже имеющихся, а его игнорируют только потому что он едва родился? Неизвестно сколько продлится такая приятная для сайтостроителей петрушка. Чтобы не быть голословным вот пример позиций проекта, который в индекс попал в середине октября: Конечно, едва ли кто-то пустит вас на первые места по ВЧ московским запросам. Но для периферийных сайтов шансы хороши. Совет №5 Создайте свой собственный план работ по проектам. Легко можно забыть какие-то очевидные вещи. Эстрадные артисты порой забывают петь, и приходиться включать фонограмму. Я рекомендую посидеть и составить список основных работ, которые обязательно нужно выполнить на любом сайте. Не бойтесь джунглей! Радуйтесь жизни! Пускай вам всегда свежие тортики попадаются в магазинах.
  7. Доброго выходного! Как думаете, какова будет реакция поисковиков на следующее: На городском портале, добавлю раздел новостей и настрою автоматическое наполнение копипастом с указанием источника и полностью закрою раздел в robots.txt Спросите для чего? Да просто для пользователей да и немного создать видимость живого сайта
  8. Всем привет! Дорогие друзья буду короток. Мне с вебмастера Google пришло такое письмо: Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске. Собственно мой Robots.txt на сайте для Googlebot: User-agent: Googlebot Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /page/ Disallow: /tag/ Подскажите какую директиву надо открыть ? Огромное спасибо!
  9. На сайте имеются адреса: _сайт.ру/domashnij-tekstil/podushki-i-odeyala?cat=115 _сайт.ру/domashnij-tekstil/podushki-i-odeyala?cat=115&price=1000-2000 _сайт.ру/domashnij-tekstil/podushki-i-odeyala?cat=115&dom_textile_manufacturer=176&price=1000-2000 _сайт.ру/domashnij-tekstil?cat=48&dom_textile_manufacturer=165&price=2000-3000 В справке Яндекса, я так понимаю, что мне больше подходит вот этот вариант: #если таких параметров несколько: www.site1.ru/forum_old/showthread.php?s=681498605&t=8243&ref=1311 www.site1.ru/forum_new/showthread.php?s=1e71c417a&t=8243&ref=9896 #robots.txt будет содержать: User-agent: Yandex Disallow: Clean-param: s&ref /forum*/showthread.php и так как у меня много разных категорий, то и вот это: #если параметр используется в нескольких скриптах: www.site1.ru/forum/showthread.php?s=681498b9648949605&t=8243 www.site1.ru/forum/index.php?s=1e71c4427317a117a&t=8243 #robots.txt будет содержать: User-agent: Yandex Disallow: Clean-param: s /forum/index.php Clean-param: s /forum/showthread.php Не могу понять, как правильно прописать в robots.txt, чтобы робот не ходил по ним и свел все к нужной категории. (!!!) прошу обратить внимание, что фильтры есть не только в категории подушки, но и в родительской категории домашний-текстиль. Вот так? User-agent: Yandex Disallow: Clean-param: cat&dom_textile_manufacturer&price /domashnij-tekstil/podushki-i-odeyala Clean-param: cat&dom_textile_manufacturer&price /domashnij-tekstil
  10. Добрый день. Вот возник у нас вопрос: Есть сайт, у сайта есть - как положено - файл роботс, в файле роботс закрыт от индексации раздел...и все бы ничего, но этого раздела на сайте: нет. User-Agent: * Disallow: /search/ Disallow: /system/ Disallow: /cgi-bin/ Disallow: /secure/ Disallow: /go-to/ Disallow: /file/ Host: www.сайтt.com Sitemap: http://www.сайт.com/sitemap.xml Вот и задались мы вопросом: Раздел от индексации закрыт, НО: раздела - нет, как отнесутся к этой ошибке ПС. Если как-то отнесутся вообще.