Протокол передачи гипертекста (HTTP и HTTPS)

HTTP - один из самых используемых протоколов в настоящее время. HTTP описывает взаимодействие web-клиента и web-сервера при обращении клиента к web-страницам. Соединение по протоколу HTTP устанавливается после ввода веб-адреса или унифицированного указателя ресурса (URL-адрес) в адресной строке веб-браузера. Например, при обращении к сайту МИСИС по URL (Uniform Resource Locator - единый указатель ресурса) http://misis.ru. При этом, согласно HTTP, веб-клиент отправляет так называемый GET-запрос серверу с доменным именем misis.ru и запрашивает web-страничку. В приведенном примере (как и в большинстве случаев реальных обращений) страница не указана; поэтому web-сервер должен предоставить html-файл, указанный у него в настройках по-умолчанию.

Но следует помнить, что формат URL подразумевает формат обращения <протокол><доменное имя сервера><страница>. Например http://misis.ru/spglnk/e18cf66a - обращение к странице кафедры инженерной кибернетики МИСиС, http://misis.ru/spglnk/d41d4c93 - обращение странице, на которой расположен список сотрудников кафедры инженерной кибернетики МИСиС.

Сервер, согласно протоколу HTTP, отправляет клиенту HTML-код запрошенной страницы, если такая страница существует, или сообщение о ее отсутствии.

Браузер клиента декодирует HTML-код и отображает клиенту страницу.

Помимо запроса страницы, протокол HTTP имеет запросы POST и PUT, которые используются для отправки файлов данных на веб-сервер. Например, для ввода пользовательских данных в форму веб-страницы. При этом веб-серверу отправляется сообщение POST. Запрос PUT используется, если пользователь отправляет файл или изображение на веб-сайт.

Протокол HTTP не является безопасным: запросы и ответы передаются открытым текстом, который может быть перехвачен и прочитан. Для защищённого двустороннего обмена данными с веб-серверами в Интернете используется протокол HTTPS (HyperText Transfer Protocol Secure), который использует аутентификацию и шифрование для защиты данных, пересылаемых между клиентом и сервером. Поток данных шифруется посредством протокола SSL перед началом передачи по сети.

По умолчанию HTTP использует 80 TCP-порт; HTTPS - использует 443 TCP-порт.

Протоколы SMTP, POP и IMAP

Электронная почта — это набор программных средств для доставки, хранения и поиска электронных сообщений в сети.

Каждый почтовый клиент имеет свой адрес электронной почты — запись, однозначно идентифицирующая почтовый ящик, в который следует доставить сообщение электронной почты. Сообщения электронной почты хранятся на серверах электронной почты в базах данных.

Адрес электронной почты состоит из двух частей, разделённых символом «@»: левая часть указывает имя почтового ящика пользователя (часто оно совпадает с логином пользователя). Правая часть адреса указывает доменное имя того сервера, на котором расположен почтовый ящик. Например, в адресе [email protected] galokrab – имя почтового ящика; mail.ru – доменное имя почтового сервера, содержащего электронный ящик.

Отправка и прием сообщений клиентами производится только через обращение к серверам электронной почты. Почтовые клиенты не могут соединяться друг с другом напрямую, минуя сервер. На приведенном рисунке ПК1 и ПК2 могут передавать друг другу сообщения только через почтовый сервер 1. При этом Почтовый сервер 1 должен быть указан в настройках почтового приложения ПК1 и ПК2. Получив сообщение, сервер проверяет, присутствует ли указанный в нём домен получателя в локальной базе данных сервера.

При передаче сообщения от ПК1 к ПК3 компьютер ПК1 передает сообщение своему почтовому серверу. Домен ПК3 отсутствует в локальной базе данных Почтового сервера 1. Почтовый сервер 1 отправляет запрос DNS, чтобы определить IP-адрес почтового сервера почты в домене получателя. После чего сообщение пересылается на соответствующий сервер – Почтовый сервер 2; Почтовый сервер 2 передает сообщение ПК3.

Для работы с электронной почтой используются три отдельных протокола: SMTP, POP и IMAP.

При отправке сообщений от клиента на сервер, а также при отправке сообщений с одного сервера на другой, используется протокол SMTP.

Получение электронной почты клиентом выполняется либо по POP, либо по IMAP.

Согласно протоколу SMTP почтовые сообщения должны соответствовать определенному формату; на клиенте и на сервере должны быть загружены процессы SMTP.

В формате SMTP сообщение состоит из заголовка и тела сообщения. Тело сообщения может содержать текст произвольной длины. Заголовок должен содержать адреса электронной почты получателя и отправителя в формате <адрес>@<доменное имя>. Остальные элементы заголовка являются необязательными.

При отправке сообщения электронной почты, SMTP-клиент подключается к SMTP-серверу через порт 25. Установив соединение, клиент отправляет сообщение электронной почты серверу. Сервер получает сообщение, определяет местонахождение получателя. Для локального получателя помещает сообщение в очередь сообщений локальной учётной записи; в противном случае - пересылает его другому серверу, выполнив такой же процесс установки SMTP-соединения.

Если сервер электронной почты получателя в момент доставки сообщения недоступен или перегружен, в SMTP предусмотрено временное хранение сообщений с последующей повторной отправкой. Периодически сервер проверяет очередь сообщений и пытается отправить их повторно. Если сообщение не удаётся доставить в течение установленного времени, оно возвращается отправителю с уведомлением о невозможности доставки.

Для получения сообщений с серверов электронной почты используется протокол POP. При использовании протокола POP сообщения загружаются клиентом с сервера, после чего удаляются на сервере.

Сетевой сервис POP на сервере пассивно ожидает запросов подключения клиентов к TCP-порту 110. Клиент запрашивает TCP-соединение с сервером. После установки TCP-соединения сервер POP посылает приветствие. Клиент и сервер POP обмениваются командами и откликами, пока подключение не будет закрыто или прервано.

В настоящее время используется версия POP3. POP3 удобен Интернет-провайдерам, поскольку он не предусматривает выделения провайдером клиенту большого объёма для хранения данных на серверах электронной почты.

Основным недостатком POP3 является отсутствие возможностей по управлению перемещением и хранением сообщений на сервере. Протокол IMAP, в отличие от POP, загружает IMAP-клиенту при подключении к IMAP-серверу только копии сообщений. Исходные сообщения остаются на сервере до тех пор, пока они не будут удалены вручную.

IMAP-серверы прослушивают 143 порт.

Пользователи могут организовывать на сервере иерархическую файловую структуру для упорядочения и хранения почты. Эта структура дублируется клиентом электронной почты. При удалении пользователем сообщения, оно синхронно удаляется и у клиента и на сервере.

Пользователь может работать с сообщениями из любого места, используя различные устройства и клиентское ПО. Структура папок почтового ящика не зависит от способа подключения пользователя к почтовому ящику.

Протокол IMAP требует от провайдера существенных затрат на приобретение и обслуживание оборудования для хранения большого объёма корреспонденции.

DHCP

Все устройства должны иметь уникальный IP-адрес. IP-адрес может быть установлен устройству «вручную». Но при смене сети возникает необходимость менять IP-настройки. Администратор сети должен вести учет выданных адресов, во избежание дублирования. Для автоматизации присвоения и учета выданных адресов введен DHCP (Dynamic Host Configuration Protocol) - протокол динамической конфигурации сетевого узла, который должен выполнять следующие задачи:

• снабжать рабочие станции всеми установками TCP/IP на некоторое время (срок аренды);
• содержать список всех выданных IP-адресов для всех клиентов;
• должен исключить назначение повторных адресов;
• выданные параметры DHCP-клиентам должны сохраняться, несмотря на перегрузку сервера или клиентской системы.

DHCP-сервер настраивается на выдачу IP-адресов из определенного пула (диапазона). Часть адресов в диапазоне можно исключить из пула. Помимо адреса из пула, DHCP-сервер должен предоставлять клиентам маску подсети, адрес шлюза по умолчанию, адреса DNS-серверов и проч. Все перечисленные параметры определяются настройками DHCP-сервера.

У клиента должно быть установлено автоматическое получение IP-адреса и DNS-сервера.

Взаимодействие начинается с выдачи клиентом запроса на получение IP-параметров. Данный запрос направляется на 67 порт DHCP-серверу. Клиент не имеет собственных IP-параметров, тем более – не имеет информации о адресе DHCP-сервера, поэтому запрос клиента направляется всем узлам сети, в которой расположен клиент. Но его принимает только DHCP-сервер (или несколько серверов в данной сети).

DHCP-сервер направляет клиенту предложение с IP-параметрами из своего диапазона. Если в сети есть несколько серверов – клиенту будет направлено несколько предложений.

Клиент берет первый, предложенный ему адрес, о чем сообщает широковещательным сообщением. По получении данного сообщения сервер, предложивший этот адрес, фиксирует выдачу данного адреса данному клиенту (по MAC-адресу клиента). Если в сети есть другие сервера, то они снимают свои предложения клиенту.

Адрес выдается клиенту на некоторый срок, называемый временем аренды. По завершению данного срока клиент запрашивает продолжение аренды.

Время аренды зависит от размера и предназначения сети. Если сеть стабильна и неизменна, то время аренды исчисляется сутками. Если сеть постоянно модифицируется (метро, интернет-кафе), то время аренды может быть порядка четверти часа.

На рисунке приведена сеть, в которой присутствуют два сервера DHCP. Обратите внимание: в грамотно-сконфигурированной сети диапазоны выдаваемых устройств не пересекаются. На рисунке ПК2 получил адрес от второго сервера. ПК1 обратился за адресом и получил предложение адреса от двух серверов.

В настоящее время DHCP –серверы используются повсеместно; DHCP-служба присутствует на большинстве коммутационных устройств. Но DHCP имеет ряд недостатков:

• Низкий уровень информационной безопасности
• при появлении в сети несанкционированных DHCP-серверов, способных рассылать клиентам ошибочную или потенциально опасную информацию (некорректные или уже задействованные IP-адреса, неверные сведения о маршрутизации и т.д.) часть клиентов получит некорректные IP-параметры.
• любой клиент с неблаговидной целью может получить конфигурационные сведения о сети, а также- может оттянуть на себя значительную часть имеющихся IP-адресов из пула.
• Недостаточно отказоустойчив: при завершении в пуле свободных адресов не предусмотрен механизм оповещения. При отсутствии адресов DHCP-сервер не может не только ничего предложить новым клиентам, но и сообщить о ситуации.

DNS

Обращение к любому устройству сети по любому протоколу верхних уровней производится по IP-адресам. Но особенность человеческого мозга заключается в том, что человеку легче запомнить имя компьютера, а не числовой адрес. Поэтому на ранних этапах развития Интернета существовал специальный файл host, в котором записывалось соответствие имен узлов сети их IP-адресам. Данный файл регулярно обновлялся и рассылался всем узлам сети.

С развитием Интернета увеличивалось количество узлов; эффективность рассылки файла host становилась все менее удачной. На смену ей пришла система DNS (Domain Name System).

Система доменных имен (DNS) представляет собой базу данных, в которой хранятся все доменные имена и соответствующие IP-адреса. Эта база данных располагается на DNS-серверах; причем на каждом сервера находится только фрагмент этой базы данных; все DNS-сервера объединены в соответствии с иерархией имен. Говорят, что база DNS иерархически распределена по серверам DNS.

DNS определяет также иерархическое пространство имен устройств, а также – способ именования устройств.

И, наконец, в DNS входят распознаватели, генерирующие запросы на информацию для серверов имен доменов.

Таким образом, DNS позволяет узлам сети иметь доменные имена, и обращаться друг к другу не по IP-адресу, а по DNS-имени. Данный процесс носит название DNS-распознавание.

DNS задает систему именования узлов сети. Домен – это уникальное имя узла сети или уникальное имя зоны, включающей в себя доменные имена узлов. Домены бывают разных уровней и организованы в иерархическое дерево. Корень дерева (домен нулевого уровня) - зона "." (точка). Домены-потомки, домены первого уровня – это com, ru, рф, net, fr, bu. Misis.ru – доменное имя второго уровня.

Домены отделяются один от другого точками. Абсолютное имя домена FQDN (fully qualified domain name) задает полный путь до корня.

Доменные имена состоят из доменов разного уровня: ru – домен, отведенный под пространство имен узлов России; misis.ru – узел, находящийся в зоне ru. Одновременно misis.ru – зона, в которой расположен kik.misis.ru.

Каждый сервер DNS отвечает за свою зону. Клиент обращается к своему DNS-серверу. DNS-сервер либо владеет информацией о соответствии имени IP-адресу, либо перенаправляет запрос высшим серверам в иерархии. Запросы сервера бывают рекурсивные и итеративные.

При рекурсивной запросе сервер должен вернуть либо ответ на запрос, либо сообщение об ошибке; все действия по поиску данных и опросу других серверов сервер берет на себя.

При итеративном запросе сервер может вместо ответа вернуть адрес другого сервера; предполагается, что сделавший запрос клиент перенаправит это запрос указанному серверу.

Рассмотрим процесс распознавания доменного имени на примере.

Узел maria.vvsu.ru обращается к ресурсу crypt.iae.nsk.su. Узел maria.vvsu.ru не знает IP-адреса crypt.iae.nsk.su, поэтому он обращается к DNS-серверу ns.vvsu.ru, чей IP-адрес (212.16.195.98) указан у него в настройках.

DNS-сервер ns.vvsu.ru не обладает информацией о crypt.iae.nsk.su. Он обращается с вопросом о IP-адресе crypt.iae.nsk.su к корневому серверу, который точно должен владеть информацией хотя бы о домене su.

Но на корневом сервере может находиться не только информация о доменах первого уровня. Предположим, что в данном случае корневой сервер имеет информацию, что за зону nsk.su отвечает сервер ns.nsk.su.

DNS-сервер ns.vvsu.ru повторяет запрос на IP- адрес crypt.iae.nsk.su DNS-серверу ns.nsk.su, который владея информацией о зоне nsk.su, должен иметь информацию о подчиненной ей зоне iae.nsk.su.

DNS-серверу ns.nsk.su возвращает ответ DNS-серверу ns.nsk.su: за iae.nsk.su отвечает DNS-сервер iaebox.iae.nsk.su

DNS-сервер ns.vvsu.ru повторяет запрос на IP- адрес crypt.iae.nsk.su DNS-серверу iaebox.iae.nsk.su, который владеет требуемой информацией, и сообщает, что IP-адрес crypt.iae.nsk.su - 193.124.169.58.

DNS-сервер ns.vvsu.ru отвечает обратившемуся клиенту (узлу maria.vvsu.ru), сообщая IP-адрес требуемого ресурса. Процесс разрешения DNS-имени завершается. Только после этого узел maria.vvsu.ru может обратиться к crypt.iae.nsk.su по IP-адресу 193.124.169.58.

NAT

Согласно IP-протоколу IP-адрес отправителя и получателя в пакете меняться не должны. Но еще в 90е гг стало понятно, что существующего IPv4 –диапазона адресов недостаточно. Решением дефицита IP –адресов должна стать IPv6 версия протокола, согласно которой IPv6-адрес будет иметь не 32, а 128 бит. IP 6-ой версии начал разрабатываться в упомянутые 90-е гг, но активное внедрение шестой версии протокола началось относительно недавно.

Для обеспечения всех желающими возможностью подключения к Интернет были введены частные IP-адреса: эти адреса не регистрируются в Интернет, они могут быть использованы только в пределах частной сети:

• От 10.0.0.0 до 10.255.255.255
• От 172.16.0.0 до 172.31.255.255
• От 192.168.0.0 до 192.168.255.255

Частные сети имеют выход в Интернет через маршрутизатор, на котором должна присутствовать служба преобразования адресов NAT (Network Address Translation).

Как видно на рисунке, пакеты, отправляемые за пределы частной сети, поступают на маршрутизатор, на котором присутствует служба NAT. Служба NAT меняет заголовок пакета, устанавливая вместо исходного адреса отправителя IP-адрес из пула NAT. Данный адрес может соответствовать адресу маршрутизатора или быть в пуле так называемых публичных адресов NAT (регистрированных в Интернет).

На рисунке показано, что NAT может менять только IP-адрес отправителя (вариант пакета от устройства 10.0.0.2), а возможно также преобразование порта отправителя (вариант пакета от устройства 10.0.0.4). Последнее преобразование носит название PAT (Port Address Translation).

От маршрутизатора пакет (в данном случае обращение на веб-сервер) передается к получателю. Получатель формирует ответный пакет на указанный в пришедшем пакете адрес отправителя. Пакет поступает на маршрутизатор, служба NAT определяет по таблице соответствия, что совет 157.55.1.10:50122 соответствует отправителю из частной сети 10.0.0.2: 50122; опять меняет IP-заголовок пакета (на этот раз меняется IP-адрес получателя) и отправляет пакет в сеть 10.0.0.0.