Бот Яндекса и поддержка протокола HTTP/2

[altervision 6]

Коллеги, сталкивался ли кто-нибудь с подобной проблемой?

 

Решил перевести свой сервер на работу с протоколом HTTP/2, посетителей порадовать ускорившейся загрузкой страниц.

С точки зрения посетителей и поисковых систем (Google, Bing, MailRu) работа сайта либо не изменилась, либо стала лучше.

С точки зрения бота Яндекса, сайт стал выдавать пустые ответы:

Date: Thu, 03 Mar 2016 07:28:01 GMT
Server: Apache/2.4.18 (Debian) OpenSSL/1.0.2f
Strict-Transport-Security: max-age=63072000
Upgrade: h2
Connection: Upgrade, Keep-Alive
Vary: Accept-Encoding
Content-Encoding: gzip
Content-Length: 7590
Keep-Alive: timeout=15, max=100
Content-Type: text/html; charset=utf-8
Содержимое страницы отсутствует

Тело ответа при этом пустое, содержимое страницы отсутствует. Проверка проводилась в новой версии Яндекс.Вебмастера. Пустота как в проверке ответа сервера, так и в проверке robots.txt и мобильных страниц. Старый Вебмастер также сообщил, что главную страницу сайта он после переезда на HTTP/2 не видел.

При отключении HTTP/2 проблема исчезает и всё начинает работать в штатном режиме.

 

Есть ли у кого-либо аналогичная проблема, или это только я ошибся в чём-то при настройке Apache?

Параллельно вопрос к знатокам: каким образом можно выдавать для Яндекса страницы только по старому-доброму протоколу HTTP/1.1, оставив доступ к HTTP/2 для обычных пользователей?

[altervision 6]

Платон дал ответ по этому поводу:

 

В настоящий момент робот не поддерживает HTTP/2 , поэтому Вам необходимо включить использование данного протокола только для посетителей сайта, а не для индексирующего робота (например, определив робота в логах сервера по User-agent или с помощью обратного DNS-запроса). В будущем поддержка данного протокола планируется, но пока каких-либо точных сроков назвать невозможно, Вы узнаете об этом из нашего блога - https://yandex.ru/blog/webmaster/.

 

С технической точки зрения, бот некорректно обрабатывает один заголовок - "Upgrade: h2".

Всем, кто хостится на серверах с поддержкой HTTP/2, необходимо или отключить HTTP/2 совсем, или использовать вот такой костыль (для Apache2):

BrowserMatch "yandex\.com/bots" noh2
Header unset Upgrade env=noh2

Прописывать в конфигурационном файле. Требует активных mod_headers и mod_setenvif

[Jeka Odesskiy 0]

 

Платон дал ответ по этому поводу:

 

 

С технической точки зрения, бот некорректно обрабатывает один заголовок - "Upgrade: h2".

Всем, кто хостится на серверах с поддержкой HTTP/2, необходимо или отключить HTTP/2 совсем, или использовать вот такой костыль (для Apache2):

BrowserMatch "yandex\.com/bots" noh2
Header unset Upgrade env=noh2

Прописывать в конфигурационном файле. Требует активных mod_headers и mod_setenvif

 

Люди добрые подскажите,как отлючить( вот что я нжекс написал,а я дупля отбить не могу,что и где прописывать(

 как отключить   передачу заголовка Upgrade на  cервере или сайте. Дело в том что перестал индексироваться сайт в яндексе и я не понимаю где отлючить этот заголовок.

 HTTP-ответы Вашего сервера содержат заголовок Upgrade: h2

 

HTTP/1.1 200 OK

Date: Sat, 23 Jul 2016 22:56:13 GMT

Server: Apache

X-Powered-By: PHP/5.6.23

P3P: CP="NOI ADM DEV PSAi COM NAV OUR OTRo STP IND DEM"

Expires: Sat, 23 Jul 2016 22:56:14 GMT

Vary: Accept-Encoding,User-Agent

Content-Encoding: gzip

Cache-Control: no-cache

Pragma: no-cache

Set-Cookie: c23be14a62be8baf14bfe0237d08ed46=bqkpf9dfnh489lmek9lnuj4vl6; path=/; HttpOnly

Upgrade: h2

Connection: Upgrade, Keep-Alive

Last-Modified: Sat, 23 Jul 2016 22:56:14 GMT

ETag: "aa1d353a40dfec757e88aff1a63613cd"

Keep-Alive: timeout=3, max=20

Transfer-Encoding: chunked

Content-Type: text/xml; charset=utf-8

 

Данная ситуация нарушает общепризнанный стандарт RFC и принудительно включает протокол HTTP-2 без запроса со стороны поискового робота, что не позволяет проиндексировать Ваш сайт.