Sign in to follow this  
Followers 0
altervision

Бот Яндекса и поддержка протокола HTTP/2

3 posts in this topic

Коллеги, сталкивался ли кто-нибудь с подобной проблемой?

 

Решил перевести свой сервер на работу с протоколом HTTP/2, посетителей порадовать ускорившейся загрузкой страниц.

С точки зрения посетителей и поисковых систем (Google, Bing, MailRu) работа сайта либо не изменилась, либо стала лучше.

С точки зрения бота Яндекса, сайт стал выдавать пустые ответы:

Date: Thu, 03 Mar 2016 07:28:01 GMT
Server: Apache/2.4.18 (Debian) OpenSSL/1.0.2f
Strict-Transport-Security: max-age=63072000
Upgrade: h2
Connection: Upgrade, Keep-Alive
Vary: Accept-Encoding
Content-Encoding: gzip
Content-Length: 7590
Keep-Alive: timeout=15, max=100
Content-Type: text/html; charset=utf-8
Содержимое страницы отсутствует

Тело ответа при этом пустое, содержимое страницы отсутствует. Проверка проводилась в новой версии Яндекс.Вебмастера. Пустота как в проверке ответа сервера, так и в проверке robots.txt и мобильных страниц. Старый Вебмастер также сообщил, что главную страницу сайта он после переезда на HTTP/2 не видел.

При отключении HTTP/2 проблема исчезает и всё начинает работать в штатном режиме.

 

Есть ли у кого-либо аналогичная проблема, или это только я ошибся в чём-то при настройке Apache?

Параллельно вопрос к знатокам: каким образом можно выдавать для Яндекса страницы только по старому-доброму протоколу HTTP/1.1, оставив доступ к HTTP/2 для обычных пользователей?

Share this post


Link to post
Share on other sites

Платон дал ответ по этому поводу:

 

В настоящий момент робот не поддерживает HTTP/2 , поэтому Вам необходимо включить использование данного протокола только для посетителей сайта, а не для индексирующего робота (например, определив робота в логах сервера по User-agent или с помощью обратного DNS-запроса). В будущем поддержка данного протокола планируется, но пока каких-либо точных сроков назвать невозможно, Вы узнаете об этом из нашего блога - https://yandex.ru/blog/webmaster/.

 

С технической точки зрения, бот некорректно обрабатывает один заголовок - "Upgrade: h2".

Всем, кто хостится на серверах с поддержкой HTTP/2, необходимо или отключить HTTP/2 совсем, или использовать вот такой костыль (для Apache2):

BrowserMatch "yandex\.com/bots" noh2
Header unset Upgrade env=noh2
Прописывать в конфигурационном файле. Требует активных mod_headers и mod_setenvif

Share this post


Link to post
Share on other sites

 

Платон дал ответ по этому поводу:

 

 

С технической точки зрения, бот некорректно обрабатывает один заголовок - "Upgrade: h2".

Всем, кто хостится на серверах с поддержкой HTTP/2, необходимо или отключить HTTP/2 совсем, или использовать вот такой костыль (для Apache2):

BrowserMatch "yandex\.com/bots" noh2
Header unset Upgrade env=noh2
Прописывать в конфигурационном файле. Требует активных mod_headers и mod_setenvif

 

Люди добрые подскажите,как отлючить( вот что я нжекс написал,а я дупля отбить не могу,что и где прописывать(

 как отключить   передачу заголовка Upgrade на  cервере или сайте. Дело в том что перестал индексироваться сайт в яндексе и я не понимаю где отлючить этот заголовок.

 HTTP-ответы Вашего сервера содержат заголовок Upgrade: h2

 

HTTP/1.1 200 OK

Date: Sat, 23 Jul 2016 22:56:13 GMT

Server: Apache

X-Powered-By: PHP/5.6.23

P3P: CP="NOI ADM DEV PSAi COM NAV OUR OTRo STP IND DEM"

Expires: Sat, 23 Jul 2016 22:56:14 GMT

Vary: Accept-Encoding,User-Agent

Content-Encoding: gzip

Cache-Control: no-cache

Pragma: no-cache

Set-Cookie: c23be14a62be8baf14bfe0237d08ed46=bqkpf9dfnh489lmek9lnuj4vl6; path=/; HttpOnly

Upgrade: h2

Connection: Upgrade, Keep-Alive

Last-Modified: Sat, 23 Jul 2016 22:56:14 GMT

ETag: "aa1d353a40dfec757e88aff1a63613cd"

Keep-Alive: timeout=3, max=20

Transfer-Encoding: chunked

Content-Type: text/xml; charset=utf-8

 

Данная ситуация нарушает общепризнанный стандарт RFC и принудительно включает протокол HTTP-2 без запроса со стороны поискового робота, что не позволяет проиндексировать Ваш сайт.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now
Sign in to follow this  
Followers 0

  • Recently Browsing   0 members

    No registered users viewing this page.