Search the Community

Showing results for tags 'bot'.



More search options

  • Search By Tags

    Type tags separated by commas.
  • Search By Author

Content Type


Forums

  • Поисковые системы
    • Поисковая оптимизация
    • Яндекс
    • Google
    • Другие поисковики
    • SMO
    • Каталоги
    • Инструкции и уроки
  • Основные форумы
    • Оценка сайта
    • Новости
    • Контекстная реклама
    • Партнерские программы
    • Сервисы, программы и скрипты
    • Дизайн
    • Домены
    • Биржа сайтов
    • Сайтостроительство
    • Хостинг
    • Финансы
    • Разное
    • Конкурсы
  • Работа
    • Правила раздела
    • Дизайн
    • Копирайт/Рерайт
    • SEO
    • SMO/SMM
    • Программирование
    • Разное
  • Другое
    • О нас
    • Black List
    • White List
    • Оффтопик

Skype


Местоположение


Интересы


Ваш сайт


Профиль ID

Found 2 results

  1. Задумался тут на тему сервиса от гугла "посмотреть как google bot", а именно интересует функция "отправить на индексацию", работает ли эта функция при отправке url, как Аддурилка (google.com/webmasters/tools/submit-url)? или же он отправляет на страницу бота, чтобы посмотреть "как он"? Т.е интересно, можно ли загонять в индекс страницы с помощью данной фишки?
  2. Всем доброго утра! Буквально несколько слов предистории: в 2011 создал каталог и рейтинг сайтов похожий на все обычные... со счётчиком, который устанавливался в html код. Но это не давало всех тех возможностей, которые мне понадобились в этом году! Теперь к делу! Имеется несколько сайтов с хорошей посещаемостью, соответственно у поисковиков и не только у них появляется интерес к ним. И каждый из них начинает заходить и просматривать сайт вне зависимости просил я его или нет. В итоге от некоторых просто нет никакого толку, результат нагрузка на сервер. Запрет доступа через robots.txt помогает, но не всегда. Решил сделать статистику чем-то похожую на AWStats, только для любого сайта в реальном времени и чтобы места на ваших сайтах не занимала и была независима от сайта статистики. Возможно, вы замечали при установке счетчика от какого-то рейтинга, если сайт этого самого счетчика недоступен, то и на вашем сайте элементы страницы подгружаются с задержкой. Да, может кому-то это и не понравится, но счётчик нужно встроить в саму CMS (инструкция будет при добавлении сайта). Но данную статистику я реализовал именно так. По защите: код файлов, который будет размещаться у вас на сайте, написан таким образом, что при попытке изменить или получить доступ к файлам будет сразу же блокироваться при первой же попытке и без возможности снятия этих ограничений (на работу сайта это не влияет). Суть сбора статистики. Все обращения будут сохраняться у вас на сайте, наш скрипт в запланированное время (каждую минуту) будет эту статистику забирать и очищать (сайт и наш скрипт независимы друг от друга, тоесть ваш сайт живет своей жизнью, а наш своей). Возможности. После добавления сайта вы сможете просматривать статистику за последние несколько дней, неделю и месяц. Подробнее будут доступны: переходы посетителей с: доменов, страниц, IP; просмотренные страницы: посетителями, роботами; по роботам: список роботов, выявление роботов, история посещений и User-Agent и IP каждого из них; % отказов; доступность сайта (Uptime) с возможностью просмотреть какие ошибки выдал ваш сайт. И самое главное! Это возможность запрета доступа к сайту по IP, Referer и User-Agent без обращения к .htaccess. Вам не придется ломать голову как заблокировать тот же рефспам, который на сейчас частенько достаёт многие сайты. Оставляйте комментарии, задавайте вопросы, постараюсь на них ответить! Собственно сам сайт: http://gigabase.com.ua/