Продвижение

Технический ликбез: статус и заголовки ответа сервера

В одном из прошлых постов мы рассмотрели, что посредством протокола HTTP происходит взаимодействие в вебе. Люди получают сайты в виде картинки в браузере, а поисковые роботы — HTML-файлы с определенной зашифрованной информацией. Для нас, обывателей, это просто набор символов, но вот для робота это четкая инструкция к сканированию данных. В новой статье вы узнаете, что содержится в данном ответе, и на что нам в первую очередь нужно обращать внимание для успешного продвижения.

Что включает ответ сервера

Ответ сервера может выглядеть вот таким образом:

HTTP/1.1 200 OK

Date: Mon, 12 Feb 2018 10:39:57 GMT

Server: Apache/2.2.15 (CentOS)

Content-Type: text/html; charset=utf-8

Content-Length: 35171

Last-Modified: Mon, 12 Feb 2018 00:39:57 GMT

Connection: close

Expires: Mon, 19 Feb 2018 00:39:57 GMT

Cache-Control: max-age=3600

Данный ответ имеет статус и заголовки.

1. Статус ответа сервера

Это информация в первой строке. Коды статусов содержат данные в диапазоне от 100 до 500 и влияют на то, как поисковый робот будет обрабатывать содержимое вашей страницы.

2XX. Данная классификация кодов означает, что действие, запрошенное клиентом, было успешно принято в обработку. Самым популярным является код 200 ОК. Если сервер отдает именно его, можете не беспокоиться — обмен информацией между сервером и роботом прошел успешно.

3XX. Эти коды сообщают браузеру или роботу о том, что ресурс был перемещен, и сервер отвечает списком доступных альтернативных вариантов. Самый популярный из данного диапазона является 301 редирект. Он означает, что страница по данному адресу недоступна — она была постоянно перемещена на новый адрес. Когда такое может быть? Например в том случае, когда вы перенесли контент на новую страницу, и по старой ссылке он более не доступен. Это положительный ответ для робота и не приведет к ошибкам сканирования.

4XX. Данные коды предназначен для указания ошибок со стороны клиента, либо на то, что запрашиваемой страницы или документа не существует. Самая известная ошибка — 404. Она означает, что страница была удалена. В этом нет ничего критичного, но очень важно при такой ошибке оформить несуществующую страницу должным образом: реализовать в общем дизайне сайта и сообщить пользователю, что контент не найден. Предложить ссылку на главную или альтернативную страницу сайта.

5ХХ. Эти статусы означают неудачное выполнение запроса по вине сервера. Наверняка вы видели на экране монитора такие ответы как 502 Bad Gateway или 503 Server Unavailablе. Это тревожные сигналы о том, что по техническим причинам сервер не может отдать запрашиваемый контент: либо сервер упал, либо произошли ошибки в работе баз данных, либо случились еще какие-то сбои, временные или постоянные.

Для продвигаемых страниц, которые должны попадать в результаты поисковой выдачи, важно, чтобы соблюдались правильный код ответа — 200 ОК. При перемещении страницы — 301 Moved Permanently. Эти страницы будут доступны поисковым роботам и проблем со сканированием и индексированием контента не возникнет. Обязательно запомните эти коды ответов и в техническом аудите проверяйте данные параметры сайта.

2. Заголовок ответа сервера

Все, кроме первой, строки в ответе сервера называются заголовками. Это команды, которыми обмениваются друг с другом сервер и клиент, например, поисковый робот. Заголовки используются для согласования метода, протокола, кодировки, языка и многих других параметров работы.

Заголовки содержат следующую информацию: (возвращаемся к нашему примеру):

Date: (дата осуществления запроса) Mon, 12 Feb 2018 10:39:57 GMT

Server: (имя и версия веб-сервера) Apache/2.2.15 (CentOS)

Content-Type: (тип передаваемых данных и кодировка ответа) text/html; charset=utf-8 (это простой текст в кодировке utf-8)

Content-Length: (длина контента в байтах) 35171

Last-Modified: (дата последнего изменения страницы) Mon, 12 Feb 2018 00:39:57 GMT(эта страница последний раз изменялась в такой-то день, в такое-то время)

Connection: (тип соединения) close (закрыто для передачи данных)

Expires: (до этой даты можно хранить страницу или ресурс в кэше) Mon, 19 Feb 2018 00:39:57 GMT

Cache-Control: (настройка времени кэширования страницы браузером и разрешение на кэширование) max-age=3600 (страница может храниться в кэше в течение часа)

Данных в заголовках немало — и это еще не все варианты! Вы можете зайти в википедию Список заголовков HTTP и убедиться, насколько он огромен.

Самыми значимыми с точки зрения корректной отдачи контента поисковому роботу будут заголовки Content-Type и Last-Modified.

В Content-Type обращаем внимание на то, чтобы кодировка документа совпадала с кодировкой сервера. Если стоит utf-8, так должно быть и в документе, и на сервере, чтобы контент распознался корректно и не вышло сбоев в его сканировании роботом.

Last-Modified — важный параметр, который запрашивает робот, чтобы проверить «свежесть» данного документа. Робот экономит свои ресурсы и не будет обходить повторно страницы, если они не обновлялись с момента последней проверки. Запрашивая дату Last-Modified у сервера, и получая соответствующую информацию, робот принимает решение, уйти со страницы (если она не обновлялась), или просканировать новый контент (если он изменился, о чем говорит дата его изменения). Данный запрос оформляется командой If-Modified-Since, то есть «если были изменения с такой-то даты», и если они были, то будет возвращаться ответ сервера 200 ОК. В этом случае робот переиндексирует новую страницу. Пример — на скриншоте ниже:

Если изменений не было (параметр Last-Modified не менялся), будет отображаться ответ 304 Not Modified и робот повторно сканировать страницу не будет. Пример — на скриншоте ниже:

Поэтому, если вы обновляете контент, не забывайте проверять, корректно ли отрабатывается заголовок Last-Modified, устанавливается ли свежая дата. Таким образом, вместо повторной перезагрузки страницы и обновления кеша, робот экономит трафик, а сервер отдает меньше данных. Выходит обоюдная экономия.

Как проверить?

Где и как можно получить и проверить ответ сервера? Существуют различные сервисы, которые легко ищутся в поисковиках по запросу «проверка ответа сервера». Можно использовать сервис Яндекс.Вебмастер — в нем тоже есть одноименный инструмент. Если вы ограничены во времени или знаниях для проверки, анализа и последующей корректной настройки технических параметров сайта, добавляйте ваш веб-ресурс в новый модуль SeoPult и закажите полный комплекс работ по оптимизации у специалистов системы. Успешного продвижения!

p>Источник: blog.seopult.ru

Статьи по теме

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Close