Модуль mod_deflate кодирует HTTP-ответ методами gzip и deflate, что позволяет уменьшить размер передаваемых данных в 2 и более раз. mod_deflate представляет из себя собственно модуль и набор патчей для Apache и модуля mod_charset (Russian Apache).
Дистрибутив необходимо распаковать, перейти в каталог с исходными текстами и выполнить команду ./configure, указав ей путь к исходными текстам Apache. После конфигурирования нужно выполнить команду make:
tar zxf mode_deflate-x.x.x.tar.gz cd mod_deflate-x.x.x ./configure --with-apache=<apache_dir> make
Команда make накладывает патчи на исходные тексты Apache и копирует mod_deflate.c в каталог <apache_dir>/src/modules/extra/. На FreeBSD можно указать параметр --with-idle-check для проверки уровня загрузки процессора. При сборке Apache модуль необходимо активировать:
cd <apache_dir>
./configure
...
--activate-module=src/modules/extra/mod_deflate.o
...
Для того, чтобы ответ был сжат, в запросе прежде всего должен быть заголовок "Accept-Encoding", в котором указан метод gzip или deflate. На данный момент (2001 год) по обобщённым данным нескольких систем сбора статистики в Рунете около 90-93% всех запросов выполняется броузерами MSIE 5.x и 4.x, понимающими gzip и deflate и около 5-7% - броузерами Netscape 4.x, понимающими gzip.
Кроме того, запрос не должен проходить через транзитные прокси-сервера, поскольку нельзя определённо сказать, умеют ли они корректно кэшировать компрессированые ответы. Например, не умеющий правильно кэшировать сжатые ответы прокси-сервер может передать закэшированный в сжатом виде ответ клиенту, не понимающему подобное кодирование. Наличие прокси-серверов проверяется по заголовку "Via". С этим же связано ограничение на версию протокола HTTP - сжатие выполняется, только если версия запроса не ниже 1.1, так как только в этой версии прокси-сервер обязан устанавливать заголовок "Via". Для запроса версии 1.0 нельзя определённо утверждать, что запрос не проходил через прокси-сервера.
При настройке mod_deflate по умолчанию, ответы на запросы от Netscape 4.x сжиматся не будут, поскольку Netscape делает запросы с версией 1.0. Как уже было сказано, сейчас около 90-93% запросов выполняется броузерами MSIE 4.x и 5.x и около 5-7% - броузером Netscape 4.x. Часть из оставшихся 2-3% запросов могут выполняться броузерами, которые не понимают gzip в качестве "Content-Encoding". Если эти запросы не представляют для вас интереса, то Вы может установить такие директивы
DeflateHTTP 1.0
DeflateProxied on
DeflateOrder gzip (эта директива не обязательна,
так как это её значение по умолчанию)
и получить уменьшение исходящего трафика HTML-файлов в два-три раза, тогда как при настройках по умолчанию уменьшение не так заметно из-за того, что около трети всех запросов выполняется через прокси-сервера.
Существует ещё несколько условий для сжатия ответа:
ответ должен иметь тип "text/*" (как правило, это "text/html" или "text/plain"),
код ответа должен быть равен 200 (HTTP_OK),
ответ не должен уже иметь заголовка "Content-Encoding",
и в запросе не должен запрашиваться только заголовок (HEAD).
В сжатых ответах удаляется заголовок "Content-Length", поскольку длина сжатого ответа не известна на момент передачи заголовков. В этом случае при запросе версии HTTP/1.1 Apache передаёт ответ чанками (chunks) и добавляет заголовок "Transfer-Encoding: chunked".
Оба метода кодирования, gzip и deflate, используют один и тот же метод сжатия данных - deflate (RFC 1951), реализуемый библиотекой zlib (RFC 1950). В методе gzip (RFC 1952) перед сжатым потоком добавляется 10-байтный заголовок. Кроме того, после сжатого потока добавляется контрольная сумма CRC32 и длина несжатых данных, в сумме занимающие 8 байт. Тело HTTP-ответа в этом случае такое же, как если бы оно было сжато программой gzip. Это метод понимают броузеры Netscape 4.06-4.08, 4.5-4.7x, MSIE 4.x-5.x, Opera 4.x-5.x. Броузеры Netscape 4.0-4.05 хотя и не передают заголовок "Accept-Encoding", также понимают метод gzip. Netscape 3.0x понимает метод кодирования x-gzip, являющийся полным аналогом метода gzip, однако также не передаёт заголовок "Accept-Encoding". mod_deflate не поддерживает метод x-gzip.
С методом кодирования deflate дела обстоят сложнее. В описании протокола HTTP 1.1 (RFC 2616) deflate описан так:
The "zlib" format defined in RFC 1950 in combination with the "deflate" compression mechanism described in RFC 1951.
Что, по-видимому, должно означать, что перед сжатым потоком должно быть 2 байта заголовка zlib, а после сжатого потока - контрольная сумма Adler32 (4 байта). Однако в броузерах MSIE 4.x-5.x, Opera 4.x-5.x, Netscape 6.0, Mozilla метод deflate реализован иначе - он представляет из себя только сжатый поток без заголовка и контрольной суммы. Именно этот вариант реализован в модуле mod_deflate. Однако известен один броузер, Konqueror, который не понимает метод deflate. Возможно, deflate в нём реализован по RFC 2616, a возможно, просто с с ошибками. Тем не менее, начиная с версии "Konqueror 2.1 post BETA >= 20010128" этот броузер просто не указывает метод deflate в заголовке "Accept-Encoding". Существование двух возможных реализаций и подобных броузеров делает ненадёжным использование метода deflate.
Устанавливает определённый в библиотеке zlib уровень сжатия от 1 до 9. Хотя уровень 1 наименее ресурсоёмок, тем не менее, он, как правило, позволяет уменьшить объём передаваемых файлов HTML в 2-4 раза. Увеличение уровня сжатия до 9 обычно не даёт такого впечатляющего результата, тo есть, если, например, при уровне 1 данные сжимаются в 4 раза, то при уровне 9 они сожмутся лишь в 5 раз. Насколько сжимается тот или иной файл в зависимости от уровня сжатия, Вы можете проверить с помощью программы gzip, указав ей параметр от -1 до -9.
В библиотеке zlib определён ещё один уровень - 0 (store), при котором сжатие не выполняется, но в контексте протокола HTTP он не имеет смысла, поскольку всегда можно передавать данные, вообще не используя сжатие.
Задаёт строку, при нахождении которой в заголовке "User-Agent" запрещается передача части ответа (ranges) в случае, если ответ может быть кодирован методом gzip или deflate. Таких директив может быть несколько. Если ответ не может быть кодирован методом gzip или deflate, то части (ranges) для данного броузера не запрещаются. Рекомендуется устанавливать такую директиву
DeflateDisableRange "MSIE 4."
Разрешает или запрещает кодирование методом gzip или deflate.
Устанавливает минимальную версию протокола HTTP в запросе, при которой разрешается кодирование методом gzip или deflate.
Задаёт интервал проверки уровня загрузки процессора в секундах. Эта директива доступна только на FreeBSD 3.x и выше при указании параметра --with-idle-check при конфигурации.
Задаёт минимальный уровень бездействия процессора в процентах, при котором разрешается кодирование методом gzip или deflate. Эта директива доступна только на FreeBSD 3.x и выше при указании параметра --with-idle-check при конфигурации.
Устанавливает минимальный размер тела ответа в байтах, при котором разрешается кодирование методом gzip или deflate. Размер определяется из заголовка "Content-Length", если это заголовок отсутствует, то кодирование выполняется независимо от размера ответа.
Задаёт приоритет при выборе метода кодирования. Например, директива "DeflateOrder deflate gzip" делает метод deflate более приоритетным, чем gzip. Этой же директивой можно устанавливать только один метод кодирования. По умолчанию используется только метод gzip, поскольку использование метода deflate на данный момент ненадёжно.
Разрешает или запрещает кодирование методом gzip или deflate для проксированных запросов. Такие запросы определяются по наличию заголовка "Via".
Судить о том, был ли сжат тот или иной ответ, каким методом и насколько можно с помощью заметок (notes):
defl_m - один символ, означающий метод кодирования - "d" - deflate, "g" - gzip. Кроме того, если проверяется загрузка процессора, то возможно ещё одно значение "b" - blocked, означающее, что кодирование возможно, но запрещено из-за загрузки процессора.
defl_i - размер несжатого (input) ответа.
defl_o - размер сжатого (output) ответа. Необходимо заметь, число переданных байт (%b) по протоколу HTTP/1.1 будет больше, поскольку в %b учитывается служебная информация для кодирования чанками (chunks).
defl_r - число с точностью до двух знаков после запятой, показывающее
степень (ratio) сжатия. Считается как
В логах заметки можно использовать в виде %{defl_r}n.
Кодирование тем или иным методом можно запретить с помощью переменных среды "no_deflate" и "no_gzip", устанавливаемых директивами SetEnvIf, BrowserMatch и им подобным, например:
BrowserMatch "Konqueror" no_deflate
mod_deflate не сжимает ответы, прошедшие через mod_proxy, поскольку mod_proxy для отдачи ответа клиенту использует только функции ap_b*(), работающие с BUFF, и не использует функцию ap_send_http_header(). В то же время ответы mod_proxy, вставляемые с помощью mod_rewrite в SSI-документы, сжимаются.
Текст, выведенный с помощью функций ap_rprintf() и ap_vrprintf(), не перекодируется Russian Apache. Это связано с тем, что Russian Apache, обрабатывая эти функции, работает напрямую с BUFF вместо того, что бы использовать функции ap_b*() и портит сжатый поток. Для того, чтобы этого не происходило, для этих функций запрещается перекодирование. На самом деле, эта особенность не должна повлиять на что-либо, поскольку на данный момент функции ap_rprintf() и ap_vrprintf() не используются для вывода каких-либо текстов на русском языке. Функция ap_rprintf() активно используется в mod_status и mod_info, и незначительно в mod_include для вывода fsize, в mod_autoindex для вывода размера иконок и в mod_jserv для вывода статуса.
Для сборки модуля необходима библиотека zlib, что, в принципе, не является проблемой для большинства Unix-платформ.
Модуль, возможно, будет собираться на не-Unix платформах, но никаких телодвижений по портированию не делалось.
Ниже приводится список броузеров с указанием версии протокола и методов кодирования, указываемые в заголовке "Accept-Encoding". Для более или менее распространених броузеров в скобках приводиться приблизительный процент их использования.
MSIE 4.x (10-14%), 5.x (76-79%) и 6.x, кроме версий под Макинтош
HTTP/1.1, "gzip, deflate"
MSIE 4.x кэширует принятые ответы в сжатом виде, поэтому если
приём сжатого ответа прервать, а затем повторить снова,
то MSIE делает запрос с прерванного места, указывая в заголовке "Range"
смещение, равное длине полученного сжатого ответа.
Если ему передать несжатый остаток, то MSIE считает, что весь ответ
не сжат и показывает закэшированную часть в сжатом виде, а следом
за ней вновь полученную часть.
Как правильно передавать остаток в сжатом виде для MSIE 4.x, сказать сложно,
проще запретить передачу по частям в таких случаях.
Поэтому разумным компромиссом является директива
Netscape 4.06-4.08, 4.5-4.7x (3-5%)
HTTP/1.0, "gzip"
Netscape 4.0-4.05 хотя и не передает заголовок "Accept-Encoding", но понимает метод gzip.
Netscape 6.0, Mozilla 0.8
HTTP/1.1, "gzip, deflate, compress, idenity"
Opera 4.x-5.x
HTTP/1.1, "deflate, gzip, x-gzip, identity, *;q=0"
Lynx 2.6-2.8.x
HTTP/1.0, "gzip, compress"
Konqueror 2.0
HTTP/1.1, "x-gzip; q=1.0, x-deflate, gzip; q=1.0, deflate, identity"
Возможно, deflate в Konqueror реализован по RFC 2616, a возможно, просто с с ошибками.
Konqueror 2.1
HTTP/1.1, "x-gzip; q=1.0, gzip; q=1.0, identity"
Начиная с версии "Konqueror 2.1 post BETA >= 20010128", в заголовке "Accept-Encoding" не указывается deflate и x-deflate.
(C) 2001, Igor Sysoev