• Моя библиотека

Networking 101: Безопасность транспортного уровня (TLS) Сеть через браузер (O’Reilly)

Введение

Протокол SSL был первоначально разработан в Netscape для обеспечения безопасность транзакций электронной торговли в Интернете, которая требует шифрования для защищать личные данные клиентов, а также аутентификацию и целостность гарантии для обеспечения безопасной транзакции.Для этого SSL протокол был реализован на уровне приложений, непосредственно поверх TCP (Рисунок 4-1), что позволяет протоколы над ним (HTTP, электронная почта, обмен мгновенными сообщениями и многие другие) для работать без изменений, обеспечивая безопасность связи, когда общение по сети.

При правильном использовании SSL сторонний наблюдатель может только сделать вывод конечные точки подключения, тип шифрования, а также частоту и приблизительный объем отправленных данных, но не может читать или изменять какие-либо фактические данные.Рисунок 4-1. Безопасность транспортного уровня (TLS)

Когда протокол SSL был стандартизирован IETF, он был переименован к безопасности транспортного уровня (TLS). Многие используют имена TLS и SSL взаимозаменяемы, но технически они разные, поскольку каждый описывает другую версию протокола.

SSL 2.0 был первой публично выпущенной версией протокола, но он был быстро заменен на SSL 3.0 из-за ряда обнаруженных средств защиты недостатки.Поскольку протокол SSL был проприетарным для Netscape, IETF предприняли попытку стандартизировать протокол, в результате чего появился RFC 2246, который был опубликован в январе 1999 года и стал известен как TLS 1.0. С затем IETF продолжил итерацию протокола для решения недостатки безопасности, а также расширение ее возможностей: TLS 1.1 (RFC 4346) был опубликован в апреле 2006 г., TLS 1.2 (RFC 5246) в августе 2008 г. и работает сейчас ведется определение TLS 1.3.

При этом не позволяйте обилию номеров версий вводить вас в заблуждение: ваши серверы всегда должны отдавать предпочтение и согласовывать последнюю стабильную версию протокола TLS для обеспечения максимальной безопасности, возможностей и гарантии исполнения.Фактически, некоторые критически важные для производительности функции, такие как как HTTP / 2, явно требует использования TLS 1.2 или выше и прерывает в противном случае связь. Хорошая безопасность и производительность идут рука об руку.

TLS был разработан для работы поверх надежного транспортного протокола. типа TCP. Однако он также был адаптирован для работы с дейтаграммами. протоколы, такие как UDP. Безопасность на транспортном уровне дейтаграмм (DTLS) протокол, определенный в RFC 6347, основан на протоколе TLS и может предоставить аналогичные гарантии безопасности при сохранении дейтаграммы модель доставки.

§Шифрование, аутентификация и целостность

Протокол TLS предназначен для предоставления трех основных услуг: все приложения, работающие над ним: шифрование, аутентификация и данные честность. Технически вам не обязательно использовать все три в каждом ситуация. Вы можете принять решение о принятии сертификата без подтверждения его подлинность, но вы должны быть хорошо осведомлены о рисках безопасности и последствия этого. На практике безопасное веб-приложение будет использовать все три услуги.

Шифрование

Механизм скрытия того, что отправляется с одного хоста на другой.

Аутентификация

Механизм проверки действительности предоставленной идентификации материал.

Целостность

Механизм обнаружения фальсификации и подделки сообщений.

Чтобы установить криптографически безопасный канал данных, одноранговые узлы должны договориться о том, какие наборы шифров будут использоваться, и ключи, используемые для шифрования данных.Протокол TLS определяет четко определенный последовательность рукопожатия для выполнения этого обмена, которую мы рассмотрим в подробно в TLS Handshake. Гениальная часть этого рукопожатия и причина, по которой TLS работает в На практике это связано с использованием криптографии с открытым ключом (также известной как криптография с асимметричным ключом), что позволяет одноранговым узлам согласовывать общий секретный ключ без необходимости устанавливать какие-либо предварительные знания о каждом другое, и сделать это по незашифрованному каналу.

В рамках рукопожатия TLS протокол также позволяет обоим одноранговым узлам подтвердить свою личность. При использовании в браузере это механизм аутентификации позволяет клиенту проверить, что сервер кем он себя называет (например, ваш банк), а не просто притворяется быть получателем, подделав его имя или IP-адрес. Этот проверка основана на установленной цепочке доверия — см. Цепочка доверия и Центры сертификации.Кроме того, сервер также может опционально проверить личность клиента — например, прокси-сервер компании может аутентифицировать всех сотрудников, каждый из которых может иметь свой уникальный сертификат, подписанный компанией.

Наконец, с шифрованием и аутентификацией, протокол TLS также предоставляет собственный механизм кадрирования сообщений и подписывает каждое сообщение с кодом аутентификации сообщения (MAC). Алгоритм MAC является односторонним. криптографическая хеш-функция (фактически контрольная сумма), ключи к которой согласовываются обоими одноранговыми узлами.Всякий раз, когда отправляется запись TLS, Значение MAC создается и добавляется к этому сообщению, а получатель затем сможет вычислить и проверить отправленное значение MAC, чтобы гарантировать, что сообщение целостность и подлинность.

В совокупности все три механизма служат основой для безопасного общение в сети. Все современные веб-браузеры поддерживают множество наборов шифров, способных аутентифицировать как клиента, так и сервер, и прозрачно выполнять проверки целостности сообщений для каждого записывать.

§Прокси, посредники, TLS и новые протоколы на Интернет

Расширяемость и успех HTTP создали яркую экосистема различных прокси и посредников в сети: кеш серверы, шлюзы безопасности, веб-ускорители, фильтры содержимого и многие другие другие. В некоторых случаях мы знаем об их присутствии (явное прокси), а в других полностью прозрачны до конца Пользователь.

К сожалению, сам успех и наличие этих серверов создал проблему для всех, кто пытается отклониться от HTTP / 1.Икс протокол любым способом: некоторые прокси-серверы могут просто передавать новый HTTP расширения или альтернативные форматы проводов, которые они не могут интерпретировать, другие могут продолжать слепо применять свою логику, даже если они не должны этого делать, и некоторые, такие как устройства безопасности, могут предполагать злонамеренный умысел, когда здесь ничего нет.

Другими словами, на практике отклонение от четко определенного семантика HTTP / 1.x на порту 80 часто приводит к ненадежным развертываниям: у некоторых клиентов нет проблем, у других же возникают непредсказуемые и непредсказуемые трудно воспроизводимое поведение — e.g., один и тот же клиент может видеть разные поведения при перемещении между разными сетями.

Из-за такого поведения появились новые протоколы и расширения HTTP, такие как поскольку WebSocket, HTTP / 2 и другие должны полагаться на установку HTTPS туннель для обхода промежуточных прокси и обеспечения надежного модель развертывания: зашифрованный туннель скрывает данные от всех посредники. Если вы когда-нибудь задумывались, почему большинство руководств по WebSocket скажет вам использовать HTTPS для доставки данных мобильным клиентам, это Почему.

§HTTPS везде

Незашифрованная связь — через HTTP и другие протоколы — создает большой количество уязвимостей конфиденциальности, безопасности и целостности. Такой обмены восприимчивы к перехвату, манипуляции и олицетворение и может раскрыть учетные данные пользователей, историю, личность и другая конфиденциальная информация. Наши приложения должны защищать себя, и наши пользователи против этих угроз путем доставки данных по HTTPS.

HTTPS защищает целостность веб-сайта

Шифрование предотвращает несанкционированное вмешательство злоумышленников в обмен данные — например, переписывание контента, внедрение нежелательных и вредоносных контент и так далее.

HTTPS защищает конфиденциальность и безопасность пользователя

Шифрование не позволяет злоумышленникам прослушивать обмен данные. Каждый незащищенный запрос может раскрыть конфиденциальную информацию о пользователь, и когда такие данные собираются по нескольким сеансам, может использоваться для деанонимности их личности и раскрытия других конфиденциальных Информация.Вся активность в браузере с точки зрения пользователя, следует считать конфиденциальными и конфиденциальными.

HTTPS обеспечивает широкие возможности в Интернете

Растущее число новых функций веб-платформы, таких как доступ геолокация пользователей, фотографирование, запись видео, включение офлайн взаимодействие с приложением и многое другое требует явного согласия пользователя, что в очередь, требует HTTPS. Предоставляемые гарантии безопасности и целостности по HTTPS — важные компоненты для обеспечения безопасности пользователя разрешение рабочего процесса и защита своих предпочтений.

Чтобы продолжить, как Internet Engineering Task Force (IETF) Совет по архитектуре Интернета (IAB) выпустил руководство для разработчиков и разработчиков протоколов, которые настоятельно рекомендуют внедрение HTTPS:

По мере роста нашей зависимости от Интернета возрастают и риски, и ставки для всех, кто на это полагается. В итоге это наш ответственность как разработчиков приложений, так и пользователей за обеспечение что мы защищаем себя, разрешая HTTPS повсюду.

Стандарт только для HTTPS опубликованный Управлением управления и бюджета Белого дома, является отличный ресурс для получения дополнительной информации о необходимости HTTPS, и практические советы по его развертыванию.

§Давайте Зашифровать

Распространенное возражение и препятствие на пути к широкому распространению HTTPS был требованием для покупки сертификатов у одного из доверенные органы — см. Цепь доверия и Центры сертификации.Проект Let’s Encrypt запущен в 2015 году. решает эту конкретную проблему:

«Let’s Encrypt — бесплатный, автоматизированный и открытый сертификат. авторитет, предоставленный вам Исследовательской группой по интернет-безопасности (ISRG). Цель Let’s Encrypt и протокола ACME — позволяют настроить HTTPS-сервер и получить его автоматически получить сертификат, доверенный браузеру, без участия человека вмешательство.»

Посетите веб-сайт проекта, чтобы узнать, как настроить его самостоятельно сайт. Нет никаких ограничений, теперь любой может получить доверенный сертификат для своего сайта, бесплатно.

§TLS Рукопожатие

Прежде, чем клиент и сервер смогут начать обмен данными приложения через TLS необходимо согласовать зашифрованный туннель: клиент и сервер должен согласовать версию протокола TLS, выберите ciphersuite и при необходимости проверьте сертификаты.К сожалению, каждый из для этих шагов требуются новые пакеты (рис. 4-2) между клиентом и server, что увеличивает задержку запуска для всех TLS-подключений. Рисунок 4-2. Протокол рукопожатия TLS

Рисунок 4-2 предполагает то же (оптимистично) Задержка одностороннего «света в волокне» 28 миллисекунд между Новым Йорк и Лондон, как использовалось в предыдущем установлении TCP-соединения Примеры; см. Таблицу 1-1.

0 мс

TLS работает через надежный транспорт (TCP), что означает, что мы должны сначала завершите трехстороннее рукопожатие TCP, которое занимает одно полное поездка в оба конца.

56 мс

Установив TCP-соединение, клиент отправляет несколько спецификации в виде обычного текста, такие как версия протокола TLS он запущен, список поддерживаемых шифровальных наборов и другие TLS параметры, которые он может захотеть использовать.

84 мс

Сервер выбирает версию протокола TLS для дальнейшего связи, выбирает набор шифров из списка, предоставленного клиент, прикрепляет свой сертификат и отправляет ответ обратно клиент.При желании сервер также может отправить запрос на сертификат клиента и параметры для других расширений TLS.

112 мс

Предполагая, что обе стороны могут согласовать общую версию и cipher, и клиент доволен сертификатом, предоставленным сервер, клиент инициирует либо RSA, либо ключ Диффи-Хеллмана обмен, который используется для установления симметричного ключа для следующая сессия.

140 мс

Сервер обрабатывает параметры обмена ключами, отправленные клиент, проверяет целостность сообщения, проверяя MAC, и возвращает encrypted Finished message back to the client.

168 мс

Клиент расшифровывает сообщение согласованным симметричным ключом, проверяет MAC, и если все в порядке, то туннель установлен и данные приложения теперь могут быть отправлены.

Как видно из приведенного выше обмена, для новых подключений TLS требуется два обходы для «полного рукопожатия» — это плохие новости. Однако в практика, оптимизированные развертывания могут работать намного лучше и обеспечивать согласованное рукопожатие 1-RTT TLS:

• False Start — это расширение протокола TLS, которое позволяет клиенту и сервер, чтобы начать передачу зашифрованных данных приложения, когда рукопожатие завершено только частично — i.э., однажды ChangeCipherSpec и Finished Сообщения отправлено, но не дожидаясь, пока другая сторона сделает то же самое. Этот оптимизация снижает накладные расходы на рукопожатие для новых подключений TLS к одна поездка туда и обратно; см. Включение ложного запуска TLS.

• Если клиент ранее связывался с сервером, может использоваться «сокращенное рукопожатие», которое требует одного обхода и также позволяет клиенту и серверу снизить накладные расходы ЦП на повторное использование ранее согласованных параметров для безопасного сеанса; см. сеанс TLS Возобновление.

Комбинация обеих вышеупомянутых оптимизаций позволяет нам обеспечить согласованное рукопожатие TLS 1-RTT для новых и вернувшихся посетителей, плюс экономия вычислений для сеансов, которые могут быть возобновлены на основе предварительно согласованные параметры сеанса. Обязательно воспользуйтесь преимуществами эти оптимизации в ваших развертываниях.

Одна из целей разработки TLS 1.3 заключается в уменьшении накладных расходов на задержку при настройке безопасного соединение: 1-RTT для новых и 0-RTT для возобновленных сеансов!

§RSA, Диффи-Хеллман и прямая секретность

По разным историческим и коммерческим причинам ЮАР рукопожатие было доминирующим механизмом обмена ключами в большинстве TLS развертывания: клиент генерирует симметричный ключ, шифрует его с помощью открытый ключ сервера и отправляет его на сервер для использования в качестве симметричного ключ для установленной сессии.В свою очередь, сервер использует свои частные ключ для расшифровки отправленного симметричного ключа, и обмен ключами завершен. С этого момента клиент и сервер используют согласованный симметричный ключ для шифрования их сеанса.

Рукопожатие RSA работает, но имеет критический недостаток: то же самое. пара открытого и закрытого ключей используется как для аутентификации сервера, так и для зашифровать симметричный сеансовый ключ, отправленный на сервер. В результате, если злоумышленник получает доступ к закрытому ключу сервера и прослушивает обмен, то они могут расшифровать весь сеанс.Даже хуже если злоумышленник в настоящее время не имеет доступа к закрытому ключу, он все еще может записать зашифрованный сеанс и расшифровать его позже как только они получат закрытый ключ.

Напротив, обмен ключами Диффи-Хеллмана позволяет клиенту и сервер для согласования общего секрета без явной передачи его в рукопожатии: закрытый ключ сервера используется для подписи и проверки рукопожатие, но установленный симметричный ключ никогда не покидает клиент или сервер и не может быть перехвачен пассивным злоумышленником даже если у них есть доступ к закрытому ключу.

Для любопытных: статья в Википедии об обмене ключами Диффи-Хеллмана — это отличное место, чтобы узнать об алгоритме и его свойствах.

Лучше всего то, что обмен ключами Диффи-Хеллмана может использоваться для уменьшения риск компрометации прошлых сеансов связи: мы можем создать новый «эфемерный» симметричный ключ как часть каждого обмена ключами и отбросьте предыдущие ключи. В результате, поскольку эфемерные ключи никогда не сообщаются и активно пересматриваются для каждого нового сеанс, в худшем случае злоумышленник может скомпрометировать клиент или сервер и получить доступ к ключам сеанса текущего и будущие сессии.Однако зная закрытый ключ или текущий эфемерный ключ, не помогает злоумышленнику расшифровать любой из предыдущих сеансы!

Комбинированный, использование обмена ключами Диффи-Хеллмана и эфемерный ключи сеансов обеспечивают «совершенную прямую секретность» (PFS): компромисс долгосрочных ключей (например, закрытого ключа сервера) не ставит под угрозу прошлые ключи сеанса и не позволяет злоумышленнику расшифровать ранее записанные сеансы. Очень желанная недвижимость, мягко говоря!

В результате, и это не должно вызывать удивления, RSA рукопожатие сейчас активно отменяется: все популярные браузеры предпочитают шифры, которые обеспечивают прямую секретность (т.е., положитесь на Обмен ключами Диффи-Хеллмана), и в качестве дополнительного стимула может включать определенные оптимизации протокола только тогда, когда прямая секретность доступно — например, Рукопожатие 1-RTT через TLS False Start.

То есть обратитесь к документации по серверу, чтобы узнать, как включить и разверните прямую секретность! Еще раз, хорошая безопасность и производительность идут рука об руку.

§Производительность открытого и симметричного ключа Криптография

Криптография с открытым ключом используется только во время начальной настройки Туннель TLS: сертификаты аутентифицируются и обмен ключами алгоритм выполняется.

Криптография с симметричным ключом, в которой используется установленный симметричный ключ. затем используется ключ для дальнейшего взаимодействия между клиентом и сервер в сеансе. В основном это делается для того, чтобы повысить производительность — криптография с открытым ключом — это гораздо больше вычислительно дорого. Чтобы проиллюстрировать разницу, если у вас есть OpenSSL установлен на вашем компьютере, вы можете запустить следующие тесты:

• $> скорость openssl ecdh

• $> скорость openssl aes

Обратите внимание, что единицы между двумя тестами не являются напрямую сравнимо: тест Диффи-Хеллмана на эллиптических кривых (ECDH) дает сводная таблица операций в секунду для разных размеров ключей, а Производительность AES измеряется в байтах в секунду.Тем не менее, это должно быть легко увидеть, что операции ECDH намного больше вычислительно дорого.

Точные значения производительности значительно различаются в зависимости от используемого оборудование, количество ядер, версия TLS, конфигурация сервера и другие факторы. Не поддавайтесь устаревшим тестам! Всегда запускайте тесты производительности на вашем собственном оборудовании и обратитесь к разделу «Уменьшение вычислительных ресурсов». Затраты на дополнительный контекст.

§ Согласование протокола уровня приложений (ALPN)

Два сетевых узла могут захотеть использовать собственный протокол приложения для общаться друг с другом.Один из способов решить эту проблему — определить протокол заранее, назначьте ему известный порт (например, порт 80 для HTTP, порт 443 для TLS) и настройте все клиенты и серверы для использования Это. Однако на практике это медленный и непрактичный процесс: каждый назначение портов должно быть одобрено и, что еще хуже, межсетевые экраны и другие посредники часто разрешают трафик только на порты 80 и 443.

В результате, чтобы обеспечить простое развертывание пользовательских протоколов, мы должны повторно использовать порты 80 или 443 и использовать дополнительный механизм для согласования протокол приложения.Порт 80 зарезервирован для HTTP, а HTTP Спецификация предоставляет специальный поток обновления для этого очень цель. Однако использование Обновление может добавить дополнительные сетевой обход задержки, и на практике часто ненадежен в наличие множества посредников; см. Прокси, Посредники, TLS и новые протоколы в Интернете.

Решение, как вы уже догадались, использовать порт 443, который зарезервирован. для безопасных сеансов HTTPS, работающих через TLS.Использование сквозного зашифрованный туннель скрывает данные от промежуточных прокси и обеспечивает быстрый и надежный способ развертывания новых протоколов приложений. Однако нам все еще нужен другой механизм для согласования протокола, который будет использоваться в сеансе TLS.

Application Layer Protocol Negotiation (ALPN), как следует из названия, — это расширение TLS, которое удовлетворяет эту потребность. Расширяет TLS рукопожатие (рисунок 4-2) и позволяет партнерам согласовывать протоколы без дополнительных обходов.В частности, процесс выглядит следующим образом:

• Клиент добавляет новое поле ProtocolNameList , содержащий список поддерживаемых протоколов приложений, в ClientHello сообщение.

• Сервер проверяет поле ProtocolNameList и возвращает поле ProtocolName , указывающее выбранный протокол как часть сообщения ServerHello .

Сервер может ответить только одним именем протокола, и если он не поддерживает то, что запрашивает клиент, тогда он может выбрать прервать соединение. В результате, как только рукопожатие TLS завершается, оба безопасного туннеля установлены, и клиент и сервер находятся в соглашение о том, какой протокол приложения будет использоваться; клиент и сервер может немедленно начать обмен сообщениями через согласованный протокол.

§История и взаимосвязь NPN и ALPN

Next Protocol Negotiation (NPN) — это расширение TLS, которое было разработан в рамках программы SPDY в Google, чтобы обеспечить эффективную согласование протокола приложения во время рукопожатия TLS. Звук привычный? Конечный результат функционально эквивалентен ALPN.

ALPN — это пересмотренная и одобренная IETF версия расширения NPN. В NPN сервер объявлял, какие протоколы он поддерживает, а затем клиент выбрал и подтвердил протокол.В ALPN этот обмен было отменено: теперь клиент указывает, какие протоколы он поддерживает, Затем сервер выбирает и подтверждает протокол. Обоснование изменение состоит в том, что это приводит к более близкому согласованию ALPN с другие стандарты согласования протоколов.

Короче говоря, ALPN является преемником NPN.

§Имя сервера Индикация (СНИ)

Зашифрованный туннель TLS может быть установлен между любыми двумя TCP одноранговые узлы: клиенту необходимо знать только IP-адрес другого однорангового узла. чтобы установить соединение и выполнить рукопожатие TLS.Однако что, если сервер хочет разместить несколько независимых сайтов, каждый со своим Сертификат TLS на том же IP-адресе — как это работает? Обманывать вопрос; это не так.

Чтобы решить предыдущую проблему, указание имени сервера (SNI) в протокол TLS было введено расширение, которое позволяет клиенту чтобы указать имя хоста, к которому клиент пытается подключиться как часть рукопожатия TLS. В свою очередь, сервер может проверять SNI. имя хоста, отправленное в сообщении ClientHello , выберите соответствующий сертификат и завершите рукопожатие TLS для желаемого хозяин.

§TLS, HTTP и Выделенные IP-адреса

Рабочий процесс TLS + SNI идентичен заголовку Host реклама в HTTP, где клиент указывает имя хоста сайт, который он запрашивает: один и тот же IP-адрес может содержать много разных домены, и SNI и Host необходимы для устранить неоднозначность между ними.

К сожалению, некоторые старые клиенты (например, большинство запущенных версий IE в Windows XP, Android 2.2 и другие) не поддерживают SNI. Как результат, если вам нужно предоставить TLS таким клиентам, то вам может понадобиться выделенный IP-адрес для каждого хоста.

§ Возобновление сеанса TLS

Дополнительная задержка и вычислительные затраты полного рукопожатия TLS налагают серьезное снижение производительности на все приложения, требующие безопасное общение. Чтобы снизить некоторые затраты, TLS предоставляет механизм для возобновления или обмена данными согласованного секретного ключа между несколько подключений.

§Идентификаторы сеанса

Первый механизм возобновления идентификаторов сеанса (RFC 5246) был введенный в SSL 2.0, который позволял серверу создавать и отправлять 32-байтовый идентификатор сеанса как часть его ServerHello сообщение во время полного согласования TLS, которое мы видели ранее. С идентификатор сеанса на месте, и клиент, и сервер могут хранить предварительно согласованные параметры сеанса — с ключом по идентификатору сеанса — и повторное использование их для последующего сеанса.

В частности, клиент может включить идентификатор сеанса в ClientHello сообщение, чтобы указать серверу, что он все еще помнит согласованный набор шифров и ключи из предыдущих рукопожатие и может использовать их повторно. В свою очередь, если сервер может найти параметры сеанса, связанные с объявленным идентификатором, в его cache, тогда может произойти сокращенное рукопожатие (рис. 4-3). В противном случае полный требуется согласование нового сеанса, которое приведет к созданию нового сеанса Я БЫ.Рисунок 4-3. Сокращенное рукопожатие TLS протокол

Использование идентификаторов сеанса позволяет нам удалить полный обход, а также накладные расходы на криптографию с открытым ключом, которая используется для согласовать общий секретный ключ. Это позволяет обеспечить безопасное соединение. устанавливается быстро и без потери безопасности, поскольку мы повторно используем ранее согласованные данные сеанса.

Возобновление сеанса — важная оптимизация как для HTTP / 1.Икс и развертывания HTTP / 2. Сокращенное рукопожатие исключает полное круговая задержка и значительно снижает вычислительные затраты для обеих сторон.

Фактически, если браузеру требуется несколько подключений к одному и тому же хост (например, когда используется HTTP / 1.x), он часто намеренно ждет для завершения первого согласования TLS перед открытием дополнительных подключения к тому же серверу, чтобы их можно было «возобновить» и повторно использовать те же параметры сеанса.Если вы когда-нибудь смотрели в сети проследить и задаться вопросом, почему вы редко видите несколько TLS на одном хосте переговоры в полете, вот почему!

Однако одно из практических ограничений идентификаторов сеансов механизм — это требование к серверу для создания и поддержки кеш сеанса для каждого клиента. Это приводит к нескольким проблемам на сервер, который может видеть десятки тысяч или даже миллионы уникальных подключений каждый день: потребляемая память для каждого открытого TLS-соединения, требование для кеширования идентификаторов сеансов и политик выселения, а также нетривиальные задачи развертывания для популярных сайтов с большим количеством серверов, который в идеале должен использовать общий кеш сеанса TLS для наилучшего представление.

Ни одна из вышеперечисленных проблем не может быть решена, и многие сайты с высокой посещаемостью сегодня успешно используют идентификаторы сеансов. Но для любого развертывания с несколькими серверами идентификаторы сеанса потребуют осторожное мышление и системная архитектура, чтобы кеш рабочей сессии.

§Билеты на сеанс

Для решения этой проблемы при развертывании сеанса TLS на стороне сервера. кеши, механизм замены «Session Ticket» (RFC 5077) был введено, что устраняет требование к серверу сохранять состояние сеанса для каждого клиента.Вместо этого, если клиент указывает, что он поддерживает билеты сеанса, сервер может включать новый сеанс Запись билета , которая включает все согласованные данные сеанса зашифровано секретным ключом, известным только серверу.

Этот билет сеанса затем сохраняется клиентом и может быть включен в расширении SessionTicket внутри ClientHello сообщение следующего сеанса. Таким образом, все данные сеанса хранятся только на клиенте, но билет по-прежнему в безопасности потому что он зашифрован ключом, известным только серверу.

Идентификаторы сеанса и механизмы билета сеанса соответственно, обычно называемые сессионное кеширование и возобновления без гражданства механизмов. Главное улучшение возобновление без сохранения состояния — это удаление кеша сеанса на стороне сервера, что упрощает развертывание, требуя от клиента предоставления билет сеанса при каждом новом подключении к серверу, то есть до тех пор, пока срок действия билета истек.

На практике развертывание билетов сеанса в наборе серверы с балансировкой нагрузки также требуют тщательного мышления и систем архитектура: все серверы должны быть инициализированы одним и тем же сеансом ключ, и требуется дополнительный механизм, чтобы периодически и безопасно повернуть общий ключ на всех серверах.

§Цепь Доверительных и Сертификационных Центров

Аутентификация является неотъемлемой частью установления каждого TLS. связь.Ведь можно вести разговор за зашифрованный туннель с любым партнером, включая злоумышленника, и если мы не сможем убедитесь, что хозяин, с которым мы говорим, тот, которому мы доверяем, тогда все работа по шифрованию могла быть напрасной. Чтобы понять, как мы можем проверить идентичность партнера, давайте рассмотрим простой рабочий процесс аутентификации между Алисой и Бобом:

• И Алиса, и Боб генерируют свои собственные открытый и закрытый ключи.

• И Алиса, и Боб скрывают свои закрытые ключи.

• Алиса делится своим открытым ключом с Бобом, а Боб делится своим с Алиса.

• Алиса создает новое сообщение для Боба и подписывает его. закрытый ключ.

• Боб использует открытый ключ Алисы для проверки предоставленного сообщения. подпись.

Доверие — ключевой компонент предыдущего обмена.Конкретно, шифрование с открытым ключом позволяет нам использовать открытый ключ отправителя для убедитесь, что сообщение было подписано правильным закрытым ключом, но решение об утверждении отправителя по-прежнему основано на доверии. В только что показанный обмен, Алиса и Боб могли бы обменяться своими общедоступными при личной встрече, и поскольку они хорошо знают друг друга, они уверены, что их обмен не был скомпрометирован самозванец — возможно, они даже подтвердили свою личность через другого, секретное (физическое) рукопожатие, которое они установили ранее!

Затем Алиса получает сообщение от Чарли, которого она никогда не видела. но который утверждает, что является другом Боба.Фактически, чтобы доказать, что он дружив с Бобом, Чарли попросил Боба подписать свой открытый ключ с помощью закрытый ключ и прикрепил эту подпись к своему сообщению (рис. 4-4). В этом случае Алиса сначала проверяет Подпись Боба на ключе Чарли. Она знает открытый ключ Боба и поэтому возможность проверить, действительно ли Боб подписал ключ Чарли. Потому что она доверяет Решение Боба проверить Чарли, она принимает сообщение и выполняет аналогичная проверка целостности сообщения Чарли, чтобы убедиться, что это так, действительно, от Чарли.Рисунок 4-4. Цепочка доверия для Алисы, Боб, и Чарли

Мы только что создали цепочку доверия: Алиса доверяет Боб, Боб доверяет Чарли, и в результате транзитивного доверия Алиса решает доверять Чарли. Пока никто в цепочке не скомпрометирован, это позволяет нам создавать и расширять список доверенных лиц.

Аутентификация в Интернете и в вашем браузере выполняется точно так же процесс, как показано. Это означает, что на этом этапе вы должны спросить: кому доверяет ваш браузер и кому вы доверяете, когда используете браузер? На этот вопрос есть как минимум три ответа:

Сертификаты, указанные вручную

Каждый браузер и операционная система предоставляет вам механизм вручную импортируйте любой сертификат, которому вы доверяете.Как получить сертификат и проверка его целостности полностью зависит от вас.

Центры сертификации

Центр сертификации (ЦС) — это доверенная третья сторона, которая доверяет как субъект (владелец) сертификата, так и сторона полагаясь на сертификат.

Браузер и операционная система

Каждая операционная система и большинство браузеров поставляются со списком известные центры сертификации.Таким образом, вы также доверяете поставщикам. этого программного обеспечения, чтобы предоставить и поддерживать список доверенных сторон.

На практике было бы нецелесообразно хранить и вручную проверять каждый и каждый ключ для каждого веб-сайта (хотя вы можете, если так наклонный). Следовательно, наиболее распространенным решением является использование сертификата. органы (ЦС), которые выполняют эту работу за нас (рис. 4-5): браузер указывает, каким ЦС доверять (корневые центры сертификации), а затем на них ложится бремя проверки каждого сайта, который они подписать, а также проверить и убедиться, что эти сертификаты не используются неправомерно или скомпрометирован.Если безопасность любого сайта с сертификатом ЦС нарушено, то этот ЦС также обязан отозвать скомпрометированный сертификат. Рисунок 4-5. Подписание ЦС цифровых сертификаты

Каждый браузер позволяет вам проверять цепочку доверия вашего безопасного соединение (рис. 4-6), обычно доступное, щелкнув на значке замка рядом с URL-адресом. Рисунок 4-6. Цепочка сертификатов доверия для igvita.com (Google Chrome, версия 25)

• igvita.com сертификат подписан StartCom Class 1 Primary Промежуточный сервер.

• Сертификат первичного промежуточного сервера StartCom Class 1 подписан Центром сертификации StartCom.

• StartCom Certification Authority — это признанный корневой сертификат. орган власти.

«Якорем доверия» для всей цепочки является корневой сертификат. авторитет, которым в только что показанном случае является Сертификат StartCom Орган власти.Каждый браузер поставляется с предварительно инициализированным списком доверенных центры сертификации («корни»), и в этом случае браузер доверяет и может проверить корневой сертификат StartCom. Следовательно, через транзитивная цепочка доверия к браузеру, поставщику браузера и Центр сертификации StartCom, мы расширяем доверие до места назначения сайт.

§Прозрачность сертификата

Каждый поставщик операционной системы и каждый браузер предоставляют общедоступную список всех центров сертификации, которым они доверяют по умолчанию.Использовать ваша любимая поисковая система, чтобы найти и изучить эти списки. В практики, вы обнаружите, что большинство систем полагается на сотни проверенных центры сертификации, что также является частой жалобой на система: большое количество доверенных центров сертификации создает большую поверхность для атак область против цепочки доверия в вашем браузере.

Хорошая новость — Сертификат Проект прозрачности работает над устранением этих недостатков, предоставляя структура — общедоступный журнал — для мониторинга и аудита выпуска всех новые сертификаты.Посетите веб-сайт проекта, чтобы узнать больше.

§ Отзыв сертификата

Иногда издателю сертификата необходимо отозвать или признать сертификат недействительным по ряду возможных причин: закрытый ключ сертификата был скомпрометирован, сертификат сам авторитет был скомпрометирован, или из-за множества более мягких такие причины, как заменяющий сертификат, изменение принадлежности и т. д. на. Для решения этой проблемы сами сертификаты содержат инструкции (Рисунок 4-7) о том, как проверьте, не были ли они отозваны.Следовательно, чтобы гарантировать, что цепочка доверия не скомпрометирован, каждый одноранговый узел может проверить статус каждого сертификата с помощью следуя встроенным инструкциям вместе с подписями, так как это проверяет цепочку сертификатов. Рисунок 4-7. Инструкции CRL и OCSP для igvita.com (Google Chrome, версия 25)

§Сертификат Список отзыва (CRL)

Список отозванных сертификатов (CRL) определяется RFC 5280 и определяет простой механизм проверки статуса каждого сертификата: каждый центр сертификации ведет и периодически публикует список серийных номеров отозванных сертификатов.Любой, кто пытается подтвердить сертификат затем может загрузить список отзыва, кэшировать его и проверьте наличие в нем определенного серийного номера — если он присутствует, то он был отозван.

Этот процесс прост и понятен, но он имеет ряд ограничения:

• Растущее число отзывов означает, что список CRL будет становятся только длиннее, и каждый клиент должен получить весь список серийные номера.

• Нет механизма мгновенного уведомления о сертификате отзыв — если CRL был кэширован клиентом до сертификат был отозван, то CRL будет считать отозванным сертификат действителен до истечения срока действия кеша.

• Необходимость получить последний список CRL из CA может блокировать проверка сертификата, что может значительно увеличить задержку Рукопожатие TLS.

• Получение CRL может завершиться ошибкой по разным причинам, и в таких случаях поведение браузера не определено. Большинство браузеров рассматривают такие случаев как «мягкий сбой», позволяя продолжить проверку — да, ой.

§Онлайн Протокол статуса сертификата (OCSP)

Чтобы устранить некоторые ограничения механизма CRL, Online Протокол статуса сертификата (OCSP) был введен RFC 2560, который предоставляет механизм для выполнения проверки в реальном времени статуса сертификат.В отличие от файла CRL, который содержит все отозванные серийные номера номеров, OCSP позволяет клиенту запрашивать базу данных сертификатов CA непосредственно для только серийного номера, о котором идет речь, при проверке цепочка сертификатов.

В результате механизм OCSP потребляет меньше полосы пропускания и может для обеспечения проверки в реальном времени. Однако требование выполнить Запросы OCSP в реальном времени создают свой собственный набор проблем:

• CA должен быть в состоянии обрабатывать нагрузку запросов в реальном времени.

• Центр сертификации должен гарантировать, что служба работает и доступна по всему миру. всегда.

• Запросы OCSP в реальном времени могут нарушить конфиденциальность клиента, поскольку CA знает, какие сайты посещает клиент.

• Клиент должен блокировать запросы OCSP во время проверки цепочка сертификатов.

• Поведение браузера снова не определено и обычно приводит к «мягкому сбою», если выборка OCSP завершается неудачно из-за сети тайм-аут или другие ошибки.

В качестве реальной точки данных телеметрия Firefox показывает, что OCSP время ожидания запросов составляет 15% времени, и добавьте примерно 350 мс до подтверждения TLS в случае успеха — см. Hpbn.co/ocsp-performance.

§ОССП Сшивание

По причинам, указанным выше, ни отзыва CRL, ни OSCP механизмы предлагают гарантии безопасности и производительности, которые мы желаем для наших приложений.Однако не отчаивайтесь, ведь сшивание OCSP (RFC 6066, расширение «Запрос статуса сертификата») адресовано большинству проблемы, которые мы видели ранее, разрешив выполнение проверки сервер и будет отправлен («скреплен») как часть рукопожатия TLS на клиент:

• Вместо клиента, отправляющего запрос OCSP, это сервер который периодически извлекает подписанный OCSP с отметкой времени ответ от CA.

• Затем сервер добавляет (т. Е. «Скрепляет») подписанный OCSP. ответ как часть рукопожатия TLS, позволяя клиенту проверить как сертификат, так и прикрепленный отзыв OCSP запись, подписанная CA.

Эта смена ролей безопасна, поскольку скрепленная запись подписана ЦС и может быть проверен клиентом, и предлагает ряд важные преимущества:

• Клиент не пропускает историю переходов.

• Клиенту не нужно блокировать и запрашивать сервер OCSP.

• Клиент может завершить обработку отзыва, если сервер opts-in (путем рекламы флага OSCP «Must-Staple») и проверка не удалась.

Короче говоря, чтобы получить максимальную безопасность и гарантии производительности, не забудьте настроить и протестировать сшивание OCSP на своих серверах.

§ Протокол записи TLS

В отличие от уровней IP или TCP ниже, все данные обмениваются внутри Сеанс TLS также создается с использованием четко определенного протокола (рис. 4-8). Запись TLS протокол отвечает за идентификацию различных типов сообщений (рукопожатие, предупреждение или данные через поле «Тип содержимого»), а также обеспечение безопасности и проверка целостности каждого сообщения. Рисунок 4-8. Структура записи TLS

Типичный рабочий процесс для доставки данных приложения выглядит следующим образом:

• Протокол записи принимает данные приложения.

• Полученные данные разбиваются на блоки: максимум 2 ¹⁴ байт или 16 КБ на запись.

• Код аутентификации сообщения (MAC) или HMAC добавляется к каждой записи.

• Данные в каждой записи зашифрованы с использованием согласованного шифра.

По завершении этих шагов зашифрованные данные передаются в уровень TCP для транспорта.На принимающей стороне тот же рабочий процесс, но в обратном порядке применяется одноранговым узлом: расшифровать запись с использованием согласованного зашифровать, проверить MAC, извлечь и доставить данные в приложение, указанное выше Это.

Хорошая новость в том, что вся только что показанная работа выполняется TLS. сам слой и полностью прозрачен для большинства приложений. Тем не мение, протокол записи вводит несколько важных выводов, которые мы нужно знать:

• Максимальный размер записи TLS составляет 16 КБ.

• Каждая запись содержит 5-байтовый заголовок, MAC (до 20 байтов для SSLv3, TLS 1.0, TLS 1.1 и до 32 байтов для TLS 1.2) и заполнение если используется блочный шифр.

• Чтобы расшифровать и проверить запись, вся запись должна быть доступный.

Выбор правильного размера записи для вашего приложения, если у вас есть возможность сделать это может быть важной оптимизацией. Небольшие записи влекут за собой большие накладные расходы ЦП и байтов из-за кадрирования записи и проверки MAC, тогда как большие записи должны быть доставлены и собраны заново Уровень TCP, прежде чем они могут быть обработаны уровнем TLS и доставлены в ваше приложение — перейдите к разделу «Оптимизация размера записи TLS, чтобы получить полный доступ» Детали.

§Оптимизация для TLS

Для развертывания вашего приложения через TLS потребуется дополнительная работа, как внутри вашего приложения (например, перенос ресурсов на HTTPS, чтобы избежать смешанный контент), а также от конфигурации инфраструктуры отвечает за доставку данных приложения по TLS. Хорошо настроенный развертывание может иметь огромное положительное значение в наблюдаемых производительность, удобство использования и общие эксплуатационные расходы. Давай нырнем в.

§Сокращение вычислений Стоимость

Создание и поддержание зашифрованного канала вводит дополнительные вычислительные затраты для обоих партнеров. В частности, сначала существует асимметричное (с открытым ключом) шифрование, используемое во время TLS рукопожатие (объяснение TLS Handshake). Затем, когда общий секрет установлен, он используется как симметричный ключ для шифрования всех записей TLS.

Как мы уже отмечали ранее, криптография с открытым ключом требует больше вычислений. дорого по сравнению с криптографией с симметричным ключом, а в первые дни Интернета часто требовали дополнительного оборудования для выполнения «Разгрузка SSL.»Хорошая новость в том, что в этом больше нет необходимости и то, что когда-то требовало специального оборудования, теперь можно сделать прямо на ПРОЦЕССОР. Крупные организации, такие как Facebook, Twitter и Google, которые предлагать TLS миллиардам пользователей, выполнять все необходимые TLS переговоры и вычисления в программном обеспечении и на серийном оборудовании.

В январе этого года (2010 г.) Gmail перешел на использование HTTPS для все по умолчанию. Ранее он был представлен как вариант, но теперь все наши пользователи используют HTTPS для защиты своей электронной почты между их браузерами и Google, все время.Для этого нам не пришлось развертывать никаких дополнительных машин и специального оборудования. На на наших производственных интерфейсных машинах SSL / TLS составляет менее 1% загрузки ЦП, менее 10 КБ памяти на одно соединение и менее более 2% накладных расходов сети. Многие считают, что SSL / TLS требует много процессорного времени, и мы надеемся, что предыдущие цифры (общедоступны для первый раз) поможет это развеять.

Если вы перестанете читать сейчас, вам нужно запомнить только одно: SSL / TLS больше не требует больших вычислительных затрат.

Адам Лэнгли (Google)

Мы развернули TLS в большом масштабе, используя как оборудование, так и программные балансировщики нагрузки. Мы обнаружили, что современные программные TLS реализации, работающие на обычных процессорах, достаточно быстры, чтобы справиться с высокая нагрузка HTTPS-трафика без необходимости использования выделенных криптографическое оборудование. Мы обслуживаем весь наш HTTPS-трафик, используя программное обеспечение, работающее на серийном оборудовании.

Дуг Бивер (Facebook)

Эллиптическая кривая Диффи-Хеллмана (ECDHE) — это всего лишь немного больше. дороже RSA для эквивалентного уровня безопасности… На практике развертывания, мы обнаружили, что включение и определение приоритета шифра ECDHE наборы фактически вызвали незначительное увеличение загрузки ЦП. HTTP сообщения поддержки активности и возобновление сеанса означают, что большинство запросов не требуется полное рукопожатие, поэтому операции рукопожатия не влияют на наши Использование процессора.Мы обнаружили, что 75% клиентских запросов Twitter пересылаются соединения установлены с помощью ECDHE. Остальные 25% составляют в основном это старые клиенты, которые еще не поддерживают шифр ECDHE апартаменты.

Джейкоб Хоффман-Эндрюс (Twitter)

Чтобы получить наилучшие результаты в собственных развертываниях, извлеките максимум из Сессия TLS Возобновление — разверните, оцените и оптимизируйте процент успеха. Устранение необходимости выполнять дорогостоящую криптографию с открытым ключом операции при каждом рукопожатии значительно уменьшат как вычислительные затраты и время ожидания TLS; нет причин тратить CPU циклы работы, которую вам не нужно делать.

Говоря об оптимизации циклов ЦП, убедитесь, что ваши серверы в актуальном состоянии с последней версией библиотек TLS! Кроме того к улучшениям безопасности, вы также часто будете видеть производительность преимущества. Безопасность и производительность идут рука об руку.

§Включение 1-RTT TLS Рукопожатия

Неоптимизированное развертывание TLS может легко добавить много дополнительных туда и обратно и вводят значительную задержку для пользователя — e.грамм. рукопожатие с несколькими RTT, медленный и неэффективный отзыв сертификата проверки, большие записи TLS, требующие многократного обращения и т. д. Не будь тем сайтом, ты можешь сделать намного лучше.

Хорошо настроенное развертывание TLS должно добавить не более одного дополнительного туда и обратно для согласования TLS-соединения, независимо от независимо от того, является ли он новым или возобновленным, и избегайте всех других ловушек, связанных с задержкой: настроить возобновление сеанса и включить прямую секретность, чтобы включить TLS Фальстарт.

Чтобы получить наилучшую сквозную производительность, обязательно проведите аудит обоих собственные и сторонние сервисы и серверы, используемые вашим приложением, включая вашего провайдера CDN. Для быстрого обзора табеля успеваемости популярные серверы и CDN, посетите istlsfastyet.com.

§Оптимизировать повторное использование подключения

Лучший способ минимизировать задержку и вычислительные затраты установка новых соединений TCP + TLS предназначена для оптимизации повторного использования соединений.Таким образом снижаются затраты на настройку по запросам и обеспечивается значительная более быстрый опыт для пользователя.

Убедитесь, что настройки вашего сервера и прокси-сервера позволяют соединения keepalive и аудит настроек тайм-аута соединения. Много популярные серверы устанавливают агрессивные тайм-ауты соединения (например, некоторые Apache версии по умолчанию имеют таймаут 5 секунд), что заставляет много ненужных повторные переговоры. Для достижения наилучших результатов используйте свои журналы и аналитику, чтобы определить оптимальные значения тайм-аута.

§Предприятие Раннее Прекращение действия

Как мы обсуждали в Учебнике по латентности и Пропускная способность, мы не сможем ускорить передачу наших пакетов, но мы можем заставить их пройти меньшее расстояние. Разместив наш «край» серверов ближе к пользователю (рис. 4-9), мы можем значительно уменьшить время приема-передачи и общая стоимость рукопожатий TCP и TLS. Рисунок 4-9. Досрочное увольнение клиента связи

Простым способом добиться этого является использование услуг сеть доставки контента (CDN), которая поддерживает пулы пограничных серверов по всему миру или развернуть свой собственный.Позволяя пользователю разорвать соединение с ближайшим сервером, вместо того, чтобы пересекать через океаны и континентальные ссылки на вашу страну происхождения, клиент получает преимущество «досрочного прекращения» с более короткими поездками туда и обратно. Эта техника одинаково полезен и важен как для статического, так и для динамического контента: static контент также может кэшироваться и обслуживаться пограничными серверами, тогда как динамические запросы могут быть перенаправлены по установленным соединениям из край к исходной точке.

§ Некэшированная исходная выборка

Метод использования CDN или прокси-сервера для получения ресурс, который может потребоваться настроить для каждого пользователя или содержит другие частные данные, и, следовательно, не является глобально кешируемым ресурсом на edge, обычно известен как «некэшируемая исходная выборка».

В то время как CDN работают лучше всего, когда данные кэшируются в географически распределенном серверов по всему миру, некэшированная исходная выборка по-прежнему обеспечивает очень важная оптимизация: клиентское соединение прерывается с соседний сервер, который может значительно сократить рукопожатие затраты на задержку.В свою очередь, CDN или ваш собственный прокси-сервер может поддерживать «теплый пул соединений» для передачи данных источнику серверов, что позволяет быстро вернуть ответ клиенту.

Фактически в качестве дополнительного уровня оптимизации некоторые CDN провайдеры будут использовать соседние серверы на обеих сторонах соединения! Клиентское соединение разрывается на ближайшем узле CDN, который затем передает запрос узлу CDN, расположенному близко к источнику, и затем запрос направляется к источнику.Переход в сети CDN позволяет маршрутизировать трафик по оптимизированной магистрали CDN, что может помочь еще больше уменьшить задержку между клиентом и источником серверы.

§Настройка кэширования сеанса и возобновления без сохранения состояния

Прерывание соединения ближе к пользователю — оптимизация это поможет уменьшить задержку для ваших пользователей во всех случаях, кроме одного раза опять же, ни один бит не может быть быстрее, чем бит, который не был отправлен — отправьте меньше битов.Включение Кэширование сеанса TLS и возобновление без сохранения состояния позволяет нам устранить полная обратная задержка и сокращение вычислительных накладных расходов для повторные посетители.

Идентификаторы сеанса, от которых зависит кеширование сеанса TLS, были введены в SSL 2.0 и имеют широкую поддержку среди большинства клиентов и серверы. Однако, если вы настраиваете TLS на своем сервере, не Предположим, что поддержка сеанса будет включена по умолчанию. На самом деле это больше Обычно он отключен на большинстве серверов по умолчанию, но вам виднее! Дважды проверьте и проверьте конфигурацию вашего сервера, прокси и CDN:

• Серверы с несколькими процессами или рабочими должны использовать общий кеш сеанса.

• Размер общего кеша сеанса должен быть настроен в соответствии с вашими уровнями трафика.

• Должен быть указан период ожидания сеанса.

• В конфигурации с несколькими серверами маршрутизация одного и того же IP-адреса клиента или одного и того же Идентификатор сеанса TLS на один и тот же сервер — это один из способов обеспечить использование кеша сеанса.

• Если «липкая» балансировка нагрузки невозможна, общий кеш должен использоваться между разными серверами для обеспечения хорошего сеанса использование кеша, и необходимо установить безопасный механизм для обмена и обновления секретных ключей для расшифровки предоставленного сеанса Билеты.

• Проверяйте и отслеживайте статистику кеширования сеансов TLS для наилучшего представление.

На практике и для достижения наилучших результатов вам следует настроить оба сеанса. кэширование и механизмы сеансового билета. Эти механизмы работают вместе чтобы обеспечить лучшее покрытие как для новых, так и для старых клиентов.

§Включение ложного запуска TLS

Возобновление сеанса дает два важных преимущества: устраняет дополнительное рукопожатие и обратно для возвращающихся посетителей и снижает вычислительные затраты на рукопожатие, позволяя повторно использовать ранее согласованные параметры сеанса.Однако это не помогает в тех случаях, когда посетитель общается с сервером впервые, или если предыдущая сессия истекла.

Чтобы получить лучшее из обоих миров — одностороннее рукопожатие для новых и повторных посетителей и экономия вычислительных ресурсов для повторных посетителей — мы можем используйте TLS False Start, которое является дополнительным расширением протокола, позволяет отправителю отправлять данные приложения (рис. 4-10), когда рукопожатие только частично завершено.Рисунок 4-10. Рукопожатие TLS с False Начинать

False Start не изменяет протокол установления связи TLS, а скорее влияет только на время протокола, когда данные приложения могут быть послал. Интуитивно понятно, как только клиент отправил ClientKeyExchange запись, она уже знает шифрование ключ и может начать передачу данных приложения — остальную часть рукопожатие проводится для подтверждения того, что никто не вмешивался в записи рукопожатия и могут выполняться параллельно.В результате False Пуск позволяет нам сохранить рукопожатие TLS за один проход независимо от того, от того, выполняем ли мы полное или сокращенное рукопожатие.

§Развертывание TLS Ложь Старт

Потому что False Start только изменяет время рукопожатия протокол, он не требует никаких обновлений самого протокола TLS и может быть реализован в одностороннем порядке, то есть клиент может просто начать передача зашифрованных данных приложения раньше.Ну вот и теория.

На практике, даже если TLS False Start должен быть обратным совместим со всеми существующими клиентами и серверами TLS, что позволяет по умолчанию для всех подключений TLS оказалось проблематичным из-за некоторых плохо реализованные сервера. В результате все современные браузеры может использовать TLS False Start, но будет делать это только при определенных условия выполняются сервером:

• Chrome и Firefox требуют объявления протокола ALPN для присутствовать в рукопожатии сервера, и что набор шифров выбранный сервером обеспечивает прямую секретность.

• Safari требует, чтобы набор шифров, выбранный сервером обеспечивает прямую секретность.

• Internet Explorer использует комбинацию черного списка известных сайты, которые ломаются при включении TLS False Start, и тайм-аут для повторения рукопожатия, если квитирование TLS False Start не удалось.

Чтобы включить ложный запуск TLS во всех браузерах, сервер должен рекламировать список поддерживаемых протоколов через расширение ALPN — e.грамм., «h3, http / 1.1» — и должен быть настроен для поддержки и предпочтения наборов шифров. которые обеспечивают прямую секретность.

§Оптимизировать размер записи TLS

Все данные приложения, доставляемые через TLS, передаются в протокол записи (рисунок 4-8). Максимальный размер каждого размер записи составляет 16 КБ, и в зависимости от выбранного шифра каждая запись будет добавить от 20 до 40 байтов служебных данных для заголовка, MAC и необязательная прокладка.Если запись затем умещается в один TCP-пакет, тогда мы также должны добавить служебные данные IP и TCP: 20-байтовый заголовок для IP и 20-байтовый заголовок для TCP без параметров. В результате есть Потенциально от 60 до 100 байт накладных расходов для каждой записи. Для типичный максимальный размер блока передачи (MTU) 1500 байт на провода, эта структура пакета переводит как минимум 6% кадрирования накладные расходы.

Чем меньше запись, тем выше накладные расходы на кадрирование.Тем не мение, просто увеличить размер записи до максимального размера (16 КБ) — это не обязательно хорошая идея. Если запись охватывает несколько пакетов TCP, тогда уровень TLS должен дождаться прибытия всех TCP-пакетов, прежде чем он может расшифровать данные (рис. 4-11). Если какой-либо из этих пакетов TCP получит потерян, переупорядочен или задросселирован из-за перегрузки, тогда отдельные фрагменты записи TLS необходимо буферизовать перед они могут быть декодированы, что приводит к дополнительной задержке.На практике, эти задержки могут создать значительные узкие места для браузера, которые предпочитает использовать данные в потоковом режиме. Рисунок 4-11. WireShark захватывает 11211-байтовая запись TLS, разделенная на 8 сегментов TCP

Маленькие записи несут накладные расходы, большие записи вызывают задержку, и там нет единственного значения для «оптимального» размера записи. Вместо этого для Интернета приложения, которые использует браузер, лучшая стратегия — для динамической регулировки размера записи в зависимости от состояния TCP связь:

• Если соединение новое и окно перегрузки TCP низкое, или когда соединение какое-то время простаивало (см. Медленный старт Restart), каждый пакет TCP должен содержать ровно одну запись TLS, и запись TLS должна занимать полный максимальный размер сегмента (MSS), выделенный TCP.

• Когда окно перегрузки соединения велико, и если мы передача большого потока (например, потокового видео), размер запись TLS может быть увеличена для охвата нескольких пакетов TCP (до 16 КБ), чтобы снизить нагрузку на кадры и ЦП на клиенте и сервере.

Если TCP-соединение было в режиме ожидания, и даже если медленный запуск На сервере отключен перезапуск, лучшая стратегия — уменьшить размер записи при отправке нового пакета данных: условия могут изменились с момента последней передачи, и наша цель — свести к минимуму вероятность буферизации на прикладном уровне из-за потери пакеты, переупорядочивание и повторные передачи.

Использование динамической стратегии обеспечивает максимальную производительность для интерактивный трафик: небольшой размер записи исключает ненужную буферизацию задержка и улучшает время до первого — {HTML-байт,…, видео frame} , а больший размер записи оптимизирует пропускную способность за счет минимизация накладных расходов TLS для долгоживущих потоков.

Чтобы определить оптимальный размер записи для каждого состояния, начнем с начальный случай нового или незанятого TCP-соединения, когда мы хотим избежать Записи TLS из нескольких пакетов TCP:

• Выделите 20 байтов для служебных данных кадрирования IPv4 и 40 байтов для IPv6.

• Выделите 20 байтов для служебных данных кадрирования TCP.

• Выделите 40 байтов для служебных данных опций TCP (отметки времени, SACK).

Предполагая, что начальный MTU составляет 1500 байт, остается 1420 байт. для записи TLS, доставленной по IPv4, и 1400 байт для IPv6. Быть в будущем используйте размер IPv6, который оставляет нам 1400 байт для каждую запись TLS и при необходимости отрегулируйте, если ваш MTU ниже.

Затем решение о том, когда следует увеличить размер записи. и сбросить, если соединение было бездействующим, может быть установлено на основе предварительно настроенные пороги: увеличьте размер записи до 16 КБ после X КБ данных было перенесено, и сбросить запись размер после Y миллисекунд простоя.

Обычно мы не можем настроить размер записи TLS. управление на прикладном уровне.Вместо этого часто это настройка и иногда постоянная времени компиляции для вашего TLS-сервера. Проверить документации вашего сервера для получения подробной информации о том, как настроить эти ценности.

§ Оптимизация TLS в Google

По состоянию на начало 2014 г. серверы Google используют небольшие записи TLS, которые подходят в один сегмент TCP для первого 1 МБ данных, увеличьте запись размер до 16 КБ после этого для оптимизации пропускной способности, а затем сбросить размер записи обратно в один сегмент после одной секунды бездействие — вспенить, сполоснуть, повторить.

Аналогично, если ваши серверы обрабатывают большое количество TLS подключений, то минимизация использования памяти для каждого подключения может быть жизненная оптимизация. По умолчанию популярные библиотеки, такие как OpenSSL будет выделять до 50 КБ памяти на каждое соединение, но, как и в случае размер записи, возможно, стоит проверить документацию или источник код для настройки этого значения. Серверы Google сокращают свои Буферы OpenSSL уменьшаются примерно до 5 КБ.

§Оптимизировать Цепочка сертификатов

Проверка цепочки доверия требует, чтобы браузер прошел через цепочку, начиная с сертификата сайта, и рекурсивно проверьте сертификат родителя, пока он не достигнет доверенного корня. Следовательно, это важно, чтобы предоставленная цепочка включала все промежуточные сертификаты. Если какие-либо из них опущены, браузер будет вынужден приостановить работу. процесс проверки и получить недостающие сертификаты, добавив дополнительные поиски DNS, рукопожатия TCP и HTTP-запросы в процесс.

Как браузер узнает, откуда брать недостающие сертификаты? Каждый дочерний сертификат обычно содержит URL-адрес для родитель. Если URL-адрес опущен, а требуемый сертификат не указан включен, то проверка не удастся.

И наоборот, не включайте ненужные сертификаты, такие как доверенные корни в вашей цепочке сертификатов — они добавляют ненужные байты. Напомним, что цепочка сертификатов сервера отправляется как часть TLS. рукопожатие, которое, вероятно, происходит через новое TCP-соединение, которое на ранних этапах своего алгоритма медленного старта.Если сертификат размер цепочки превышает начальное окно перегрузки TCP, тогда мы будем непреднамеренно добавить дополнительные обходы к рукопожатию TLS: длина сертификата приведет к переполнению окна перегрузки и вызовет сервер, чтобы остановить и дождаться подтверждения клиента перед продолжением.

На практике размер и глубина цепочки сертификатов были очень значительными. большие проблемы и проблемы со старыми стеками TCP, которые инициализировали свои начальное окно перегрузки до 4 сегментов TCP — см. Медленный запуск.Для новее развертываний, начальное окно перегрузки увеличено до 10 TCP сегментов и должно быть более чем достаточно для большинства сертификатов цепи.

Тем не менее, убедитесь, что ваши серверы используют последний стек TCP и настройки, а также оптимизировать и уменьшить размер вашего сертификата цепь. Отправка меньшего количества байтов — это всегда хорошо и стоит оптимизация.

§Настройка сшивания OCSP

Каждое новое соединение TLS требует, чтобы браузер проверял подписи отправленной цепочки сертификатов.Однако есть еще одно важный шаг, который мы не можем забыть: браузер также должен проверять что сертификаты не отозваны.

Для проверки статуса сертификата браузер может использовать один из несколько методов: Список отозванных сертификатов (CRL), Статус онлайн-сертификата Протокол (OCSP) или OCSP Сшивание. У каждого метода есть свои ограничения, но OCSP Stapling обеспечивает, безусловно, лучшие гарантии безопасности и производительности — см. подробности в предыдущих разделах.Обязательно настройте свои серверы на включить (скрепить) ответ OCSP от CA к предоставленному цепочка сертификатов. Это позволит браузеру выполнить проверка отзыва без дополнительных сетевых обходов и с улучшенными гарантии безопасности.

• ответов OCSP могут иметь размер от 400 до 4000 байт. Привязка этого ответа к вашей цепочке сертификатов увеличит его size — обратите особое внимание на общий размер сертификата цепочка, чтобы она не переполняла начальное окно перегрузки для новых TCP-соединений.

• Текущие реализации OCSP Stapling допускают только один OCSP ответ должен быть включен, что означает, что браузеру, возможно, придется откат к другому механизму отзыва, если ему нужно проверить другие сертификаты в цепочке — сократите длину своего цепочка сертификатов. В будущем OCSP Multi-Stapling должен решить эту конкретную проблему.

Самые популярные серверы поддерживают сшивание OCSP.Проверить соответствующие документация по поддержке и инструкции по настройке. Аналогично, если используя или выбирая CDN, убедитесь, что их стек TLS поддерживает и настроен на использование сшивания OCSP.

§Включить строгую транспортную безопасность HTTP (HSTS)

HTTP Strict Transport Security — важная политика безопасности механизм, который позволяет источнику объявлять правила доступа совместимому браузер через простой HTTP-заголовок, например « Strict-Transport-Security: max-age = 31536000 «.В частности, он инструктирует пользовательского агента, чтобы соблюдать следующие правила:

• Все запросы к источнику следует отправлять по HTTPS. Этот включает как навигацию, так и все другие подресурсы того же происхождения запросы — например, если пользователь вводит URL без префикса https пользовательский агент должен автоматически преобразовать его в запрос https; если страница содержит ссылку на не-https ресурс, пользователь агент должен автоматически преобразовать его, чтобы запросить версию https.

• Если безопасное соединение не может быть установлено, пользователь не разрешено обойти предупреждение и запросить версию HTTP, т.е. источник только HTTPS.

• max-age указывает время жизни указанного HSTS набор правил в секундах (например, max-age = 31536000 равно 365-дневному время жизни для рекламируемой политики).

• includeSubdomains указывает, что политика должна применяется ко всем субдоменам текущего происхождения.

HSTS преобразует источник в пункт назначения, поддерживающий только HTTPS, и помогает защитить приложение от множества пассивных и активных сетей атаки. В качестве дополнительного бонуса он также предлагает хорошую производительность. оптимизация за счет устранения необходимости перенаправления HTTP-to-HTTPS: клиент автоматически перезаписывает все запросы в безопасный источник перед они отправлены!

Обязательно тщательно протестируйте развертывание TLS перед включением HSTS.После кэширования политики клиентом невозможность согласования Подключение TLS приведет к серьезному отказу, т. Е. пользователь увидит страницу с ошибкой браузера, и продолжить работу не удастся. Это поведение явный и необходимый выбор дизайна для предотвращения сетевых атак от обмана клиентов для получения доступа к вашему сайту без HTTPS.

Список предварительной загрузки §HSTS

Механизм HSTS оставляет самый первый запрос источнику незащищены от активных атак — e.грамм. злонамеренная сторона могла понизить рейтинг запроса клиента и предотвратить регистрацию Политика HSTS. Чтобы решить эту проблему, большинство браузеров предоставляют отдельный HSTS список предварительной загрузки «, который позволяет источнику запросить включен в список сайтов с поддержкой HSTS, которые поставляются с браузер.

Когда вы будете уверены в развертывании HTTPS, подумайте о добавление вашего сайта в список предварительной загрузки HSTS через hstspreload.appspot.com.

§Включить HTTP Закрепление открытого ключа (HPKP)

Один из недостатков существующей системы — как обсуждалось в Цепочка доверия и Центры сертификации — мы полагаемся на большое количество доверенные центры сертификации (CA). С одной стороны, это удобно, потому что это означает, что мы можем получить действующий сертификат из широкого круга организаций. Однако это также означает, что любой из эти организации также могут выдать действительный сертификат для наших и любое другое происхождение без их явного согласия.

Компрометация центра сертификации DigiNotar является одним из несколько громких примеров, когда злоумышленник смог выдать и использовать поддельные, но действительные сертификаты против сотен известных места.

Public Key Pinning позволяет сайту отправлять HTTP-заголовок, который указывает браузерам запомнить (закрепить) один или несколько сертификатов в свою цепочку сертификатов. Поступая таким образом, он может определить, какие сертификаты или эмитенты должны приниматься браузером на последующие посещения:

• Источник может закрепить свой листовой сертификат.Это самый безопасная стратегия, потому что вы, по сути, жестко кодируете небольшой набор специальных подписей сертификатов, которые должны быть приняты браузер.

• Источник может закрепить один из родительских сертификатов в цепочка сертификатов. Например, начало координат может закрепить промежуточный сертификат своего ЦС, который сообщает браузеру, что для этого конкретного происхождения, он должен доверять только сертификатам, подписанным этим конкретный центр сертификации.

Выбор правильной стратегии, для каких сертификатов закреплять, какие и сколько резервных копий предоставить, продолжительность и другие критерии для развертывания HPKP важны, детализированы и выходят за рамки нашего обсуждения. Проконсультируйтесь с вашей любимой поисковой системой или вашим местным гуру безопасности, чтобы узнать, больше информации.

HPKP также предоставляет режим «только отчет», который не обеспечивает принудительное выполнение предоставлен PIN-код, но может сообщать об обнаруженных сбоях.Это может быть отличный первый шаг к валидации вашего развертывания и служит механизм выявления нарушений.

§Обновить содержимое сайта на HTTPS

Для обеспечения максимальной безопасности и производительности критически важно что сайт фактически использует HTTPS для получения всех своих ресурсов. В противном случае мы столкнемся с рядом проблем, которые поставят под угрозу оба или хуже, сломайте сайт:

• Смешанное «активное» содержимое (например,грамм. поставлены скрипты и таблицы стилей через HTTP) будет заблокирован браузером и может нарушить функциональность сайта.

• Смешанный «пассивный» контент (например, изображения, видео, аудио и т. Д., доставляется через HTTP) будет получен, но позволит злоумышленнику наблюдать и делать выводы о действиях пользователей, а также снижать производительность за счет требующие дополнительных подключений и рукопожатий.

Проверяйте свой контент и обновляйте ресурсы и ссылки, в том числе сторонний контент, чтобы использовать HTTPS.Механизм политики безопасности контента (CSP) может окажут здесь большую помощь, как для выявления нарушений HTTPS, так и для обеспечения соблюдения желаемая политика.

Content-Security-Policy: обновления-небезопасные-запросы
Content-Security-Policy-Report-Only: default-src https :;
  report-uri https://example.com/reporting/endpoint
 

1. Указывает браузеру обновить все (собственные и сторонние) запросы к HTTPS.

2. Указывает браузеру сообщать о любых нарушениях, не связанных с HTTPS, на назначенная конечная точка.

CSP предоставляет настраиваемый механизм для управления активам разрешено использовать, и как и откуда они могут быть доставлено. Используйте эти возможности, чтобы защитить свой сайт и пользователей.

§ Контрольный список для выполнения

Как разработчики приложений, мы защищены от большинства сложность протокола TLS — клиент и сервер выполняют большую часть тяжелая работа от нашего имени.Однако, как мы видели в этой главе, это не означает, что мы можем игнорировать аспекты производительности наших приложения через TLS. Настройка наших серверов для включения критически важного TLS оптимизации и настройки наших приложений, чтобы клиент мог Воспользуйтесь такими функциями, чтобы получить высокие дивиденды: более быстрое рукопожатие, уменьшенная задержка, лучшие гарантии безопасности и многое другое.

Имея это в виду, краткий контрольный список для включения в повестку дня:

• Получите максимальную производительность от TCP; см. Оптимизация для TCP.

• Обновите библиотеки TLS до последней версии и (пере) соберите серверы против них.

• Включение и настройка кэширования сеанса и возобновления без сохранения состояния.

• Отслеживайте процент попаданий в кэширование сеанса и настраивайте конфигурацию соответственно.

• Настройте шифры прямой секретности, чтобы включить ложный запуск TLS.

• Завершайте сеансы TLS ближе к пользователю, чтобы минимизировать круговые обходы задержки.

• Используйте динамическое изменение размера записи TLS для оптимизации задержки и пропускная способность.

• Проверяйте и оптимизируйте размер вашей цепочки сертификатов.

• Настройте сшивание OCSP.

• Настройте HSTS и HPKP.

• Настройте политики CSP.

• Включить HTTP / 2; см. HTTP / 2.

§Тестирование и проверка

Наконец, чтобы проверить и протестировать вашу конфигурацию, вы можете использовать онлайн сервис, такой как Qualys SSL Server Протестируйте ваш общедоступный сервер на предмет общей конфигурации и безопасности. недостатки. Кроме того, вам следует ознакомиться с openssl интерфейс командной строки, который поможет вам проверить все рукопожатие и конфигурация вашего сервера локально.

    $> openssl s_client -state -CAfile root.ca.crt -connect igvita.com:443 

  ПОДКЛЮЧЕНО (00000003)
  SSL_connect: до инициализации / подключения
  SSL_connect: SSLv2 / v3 пишет клиенту привет A
  SSL_connect: SSLv3 читает сервер привет A
  глубина = 2 / C = IL / O = StartCom Ltd./OU=Secure Digital Certificate Signing
          / CN = Центр сертификации StartCom
  проверить возврат: 1
  глубина = 1 / C = IL / O = StartCom Ltd./OU=Secure Digital Certificate Signing
          / CN = ЦС первичного промежуточного сервера StartCom класса 1
  проверить возврат: 1
  глубина = 0 / описание = ABjQuqt3nPv7ebEG / C = США
          / CN = www.igvita.com/[email protected]
  проверить возврат: 1
  SSL_connect: SSLv3 читать сертификат сервера A
  SSL_connect: сервер чтения SSLv3 выполнен A
  SSL_connect: обмен ключами клиента записи SSLv3 A
  SSL_connect: спецификация шифра изменения записи SSLv3 A
  SSL_connect: запись SSLv3 завершена A
  SSL_connect: данные сброса SSLv3
  SSL_connect: чтение SSLv3 завершено A
  ---
  Цепочка сертификатов
   0 с: / description = ABjQuqt3nPv7ebEG / C = US
       /CN=www.igvita.com/[email protected]
     i: / C = IL / O = StartCom Ltd./OU=Secure Digital Certificate Signing
       / CN = ЦС первичного промежуточного сервера StartCom класса 1
   1 с: / C = IL / O = StartCom Ltd./ OU = Безопасная подпись цифрового сертификата
       / CN = ЦС первичного промежуточного сервера StartCom класса 1
     i: / C = IL / O = StartCom Ltd./OU=Secure Digital Certificate Signing
       / CN = Центр сертификации StartCom
  ---
  Сертификат сервера
  ----- НАЧАТЬ СЕРТИФИКАТ -----
  ... отрезать ...
  ---
  Имена ЦС сертификатов клиента не отправлены
  ---
  Рукопожатие SSL прочитало 3571 байт и записало 444 байта
  ---
  Новый, TLSv1 / SSLv3, шифр RC4-SHA
  Открытый ключ сервера - 2048 бит
  Поддерживается безопасное повторное согласование
  Сжатие: НЕТ
  Расширение: НЕТ
  SSL-сессия:
      Протокол: TLSv1
      Шифр: RC4-SHA
      Идентификатор сеанса: 269349C84A4702EFA7...
      Идентификатор сеанса-ctx:
      Мастер-ключ: 1F5F5F33D50BE6228A ...
      Key-Arg: Нет
      Время начала: 1354037095
      Тайм-аут: 300 (сек)
      Проверить код возврата: 0 (ок)
  ---
 

1. Клиент завершил проверку полученной цепочки сертификатов.

2. Цепочка полученных сертификатов (два сертификата).

3. Размер полученной цепочки сертификатов.

4. Выданный идентификатор сеанса для возобновления TLS с отслеживанием состояния.

В предыдущем примере мы подключаемся к igvita.com через порт TLS по умолчанию (443) и выполните рукопожатие TLS. Поскольку s_client не делает предположения об известных корневых сертификатах, вручную указываем путь к корневому сертификату, который на момент написания является StartSSL Центр сертификации для примера домена.В вашем браузере уже есть общие корневые сертификаты и, таким образом, может проверять цепочку, но s_client не делает таких предположений. Попробуйте опустить корень сертификат, и вы увидите в журнале ошибку проверки.

Проверка цепочки сертификатов показывает, что сервер отправил два сертификаты, которые в сумме составляют 3571 байт. Также мы можем видеть согласованные переменные сеанса TLS — выбранный протокол, шифр, ключ — и мы можем также убедитесь, что сервер выдал идентификатор сеанса для текущего сессия, которая может быть возобновлена ​​в будущем.

Как Facebook доводит QUIC до миллиардов

Мы заменяем протокол де-факто, который Интернет использовал на протяжении десятилетий, на QUIC, последний и самый радикальный шаг, который мы сделали для оптимизации наших сетевых протоколов, чтобы улучшить взаимодействие с пользователями наших сервисов. Сегодня более 75 процентов нашего интернет-трафика использует QUIC и HTTP / 3 (мы называем QUIC и HTTP / 3 вместе как QUIC). QUIC продемонстрировал значительные улучшения в нескольких показателях, включая ошибки запроса, задержку хвоста, размер заголовка ответа и многие другие, которые существенно влияют на опыт пользователей наших приложений.

Инженерная группа Интернета (IETF) в настоящее время разрабатывает как QUIC, так и HTTP / 3 для стандартизации.

Что такое QUIC и HTTP / 3?

Вообще говоря, QUIC является заменой протокола управления передачей (TCP), одного из основных протоколов для интернет-коммуникаций. Первоначально QUIC был разработан Google как Google QUIC или gQUIC и был представлен IETF в 2015 году. С тех пор он был переработан и улучшен более широким сообществом IETF, образуя новый протокол, который мы теперь называем QUIC.HTTP / 3 — это следующая итерация HTTP, стандартного протокола для веб-приложений и серверов. Вместе QUIC и HTTP / 3 представляют собой новейшие и лучшие интернет-протоколы, вобравшие в себя десятилетия передового опыта и уроков, которые мы, Google и сообщество IETF извлекли из работы с протоколами в Интернете .

QUIC и HTTP / 3 обычно превосходят TCP и HTTP / 2, которые, в свою очередь, превосходят TCP и HTTP / 1.1. TCP и HTTP / 2 впервые представили концепцию, позволяющую одному сетевому соединению поддерживать несколько потоков данных в процессе, называемом мультиплексированием потоков.QUIC и HTTP / 3 делают еще один шаг вперед, позволяя потокам быть по-настоящему независимыми, избегая пугающей блокировки строки TCP, когда потерянные пакеты застревают и замедляют все потоки в соединении.

QUIC использует современное средство восстановления после потерь, которое позволяет ему работать лучше, чем большинство реализаций TCP в плохих сетевых условиях. TCP также склонен к окостенению, когда становится трудно обновить протокол, потому что сетевые промежуточные ящики, такие как межсетевые экраны, делают предположения о формате пакетов.QUIC избегает этой проблемы, будучи полностью зашифрованным, делая расширяемость протокола первоклассным гражданином и гарантируя возможность внесения улучшений в будущем. QUIC также позволяет использовать новые способы инструментовки, наблюдения и визуализации поведения транспорта с помощью QLOG, формата трассировки на основе JSON, разработанного специально для QUIC.

Разработка протокола, ориентированная на опыт

Мы разработали собственную реализацию QUIC под названием mvfst, чтобы быстро протестировать и развернуть QUIC в наших собственных системах.У нас есть история написания и развертывания собственных реализаций протокола, сначала с нашей HTTP-клиент-серверной библиотекой Proxygen, а затем с протоколом Zero, а затем с Fizz, нашей реализацией TLS 1.3. Приложения Facebook используют Fizz и Proxygen для связи с нашими серверами через Proxygen Mobile. Мы также разработали два решения безопасности для TLS, расширение под названием делегированные учетные данные для защиты сертификатов и DNS через TLS для шифрования и аутентификации веб-трафика через TLS.

Разработка и развертывание нового транспортного протокола с нуля

Мы хотели, чтобы наш новый протокол легко интегрировался с существующим программным обеспечением и позволял нашим разработчикам работать быстро. В качестве испытательного полигона мы решили развернуть QUIC на большом подмножестве сетевого трафика Facebook, в частности внутреннего сетевого трафика, который включал проксированный публичный трафик на Facebook. Если бы QUIC плохо работал с внутренним трафиком, мы знали, что он, скорее всего, не будет хорошо работать и в более крупном Интернете.

В дополнение к устранению ошибок и других проблемных форм поведения, эта стратегия позволила нам разработать метод, который делает наш балансировщик сетевой нагрузки полностью осведомленным о QUIC и поддерживает гарантии выпуска нашего балансировщика нагрузки без простоев.

Имея эту прочную основу, мы перешли к развертыванию QUIC для людей в Интернете. Благодаря дизайну mvfst мы смогли плавно интегрировать поддержку QUIC в Proxygen Mobile.

Приложение Facebook

Приложение Facebook было нашей первой целью использования QUIC в Интернете.Facebook имеет развитую инфраструктуру, которая позволяет нам безопасно развертывать ограниченные изменения в приложениях, прежде чем мы представим их миллиардам людей. Мы начали с эксперимента, в котором включили QUIC для динамических запросов GraphQL в приложении Facebook. Это запросы, которые не содержат статического содержимого, такого как изображения и видео, в ответе.

Наши тесты показали, что QUIC предлагает улучшения по нескольким показателям. Пользователи Facebook испытали уменьшение количества ошибок запросов на 6 процентов, уменьшение задержки на 20 процентов и уменьшение размера заголовка ответа на 5 процентов по сравнению с HTTP / 2.Это оказало каскадное влияние и на другие показатели, указывая на то, что QUIC значительно улучшил опыт людей.

Однако были и регрессы. Больше всего озадачило то, что, несмотря на то, что QUIC был включен только для динамических запросов, мы наблюдали повышенную частоту ошибок для статического контента, загружаемого с помощью TCP. Основной причиной этого может быть общая тема, с которой мы столкнулись при переходе трафика на QUIC: логика приложения изменяла тип и количество запросов для определенных типов контента в зависимости от скорости и надежности запросов для других типов контента.Таким образом, улучшение одного типа запросов могло иметь пагубные побочные эффекты для других.

Например, эвристика, которая адаптировала, насколько агрессивно приложение запрашивает новый статический контент с сервера, была настроена таким образом, что создавала проблемы с QUIC. Когда приложение делает запрос, скажем, на загрузку текстового содержимого новостной ленты, оно ожидает, сколько времени займет этот запрос, а затем определяет, сколько запросов изображения / видео нужно сделать оттуда. Мы обнаружили, что эвристика была настроена с произвольными пороговыми значениями, что, вероятно, нормально работало для TCP.Но когда мы перешли на QUIC, эти пороговые значения были неточными, и приложение пыталось запросить слишком много сразу, что в конечном итоге привело к увеличению загрузки ленты новостей.

Масштабирование

Следующим шагом было развертывание QUIC для статического контента (например, изображений и видео) в приложениях Facebook. Однако, прежде чем сделать это, мы должны были решить две основные проблемы: эффективность процессора mvfst и эффективность нашей основной реализации контроля перегрузки, BBR.

До этого момента mvfst был разработан, чтобы помочь разработчикам быстро работать и не отставать от постоянно меняющихся проектов QUIC.Динамические запросы, ответы на которые относительно малы по сравнению со статическими запросами, не требуют значительного использования ЦП и не позволяют контроллеру перегрузки выполнять его работу.

Чтобы решить эти проблемы, мы разработали инструменты тестирования производительности, которые позволили нам оценить использование ЦП и насколько эффективно наш контроллер перегрузки может использовать сетевые ресурсы. Мы использовали эти инструменты и синтетические нагрузочные тесты QUIC в нашем балансировщике нагрузки, чтобы внести несколько улучшений. Например, одной важной областью была оптимизация скорости передачи UDP-пакетов, чтобы обеспечить более плавную передачу данных.Чтобы улучшить использование ЦП, мы использовали ряд методов, в том числе использование общей разгрузки сегментации (GSO) для эффективной одновременной отправки пакетов UDP-пакетов. Мы также оптимизировали структуры данных и алгоритмы, которые обрабатывают неподтвержденные данные QUIC.

QUIC для всего контента

Прежде чем включить QUIC для всего контента в приложении Facebook, мы установили партнерские отношения с несколькими заинтересованными сторонами, включая наших видеоинженеров. Они глубоко понимают важные показатели продукта и помогли нам проанализировать результаты экспериментов в приложении Facebook, когда мы включили QUIC.

Эксперименты показали, что QUIC оказывает преобразующее влияние на показатели видео в приложении Facebook. Среднее время между повторной буферизацией (MTBR), измеряющее время между событиями буферизации, улучшилось в совокупности до 22 процентов, в зависимости от платформы. Общее количество ошибок при запросах видео сократилось на 8 процентов. Доля видеорекламы снижена на 20 процентов. Несколько других метрик, в том числе мета-метрики, с учетом множества факторов и, в частности, условий выбросов, также были значительно улучшены.QUIC улучшила качество просмотра видео, оказав огромное влияние на сети с относительно более плохими условиями, особенно на развивающихся рынках.

Но на пути к этим результатам были свои собственные препятствия. Как и в случае с динамическим контентом, мы столкнулись с эвристикой в ​​приложении, настроенной на поведение TCP. Например, у приложений для iOS и Android были разные механизмы оценки доступной пропускной способности загрузки. Эти оценщики иногда переоценивали доступную пропускную способность при использовании QUIC, в результате чего приложение воспроизводило видео более высокого качества, чем может поддерживать сеть, и приводило к остановкам.

Нам также пришлось настроить и повторить параметры управления потоком. Управление потоком ограничивает объем данных, которые получатель желает буферизовать от отправителя. Приложение Facebook имело статически определенный предел управления потоком для HTTP / 2, который был неявно настроен для TCP и плохо работал с QUIC. Нам потребовалась некоторая экспериментальная итерация, чтобы найти новое оптимальное значение управления потоком.

Instagram и не только

QUIC в приложении Facebook стала свидетельством его способности улучшать работу пользователей в Интернете, даже в таких сложных и сложных приложениях, как Facebook.В будущем мы планируем продолжать использовать больше существующих функций QUIC, таких как миграция соединения и установление истинного 0-RTT соединения, а также инвестировать в улучшения контроля перегрузки и восстановления потерь.

Мы также развернули QUIC в приложениях Instagram, используя те же стратегии, что и наше развертывание в Facebook — протестировали его на небольшом проценте трафика Instagram, а затем увеличили масштаб. Сегодня QUIC развернут в Instagram для iOS и Instagram для Android. Обе версии Instagram имеют показатели, которые сравнимы или лучше, чем у приложения Facebook.Facebook и Instagram в Интернете также включают QUIC, поэтому, поскольку все больше веб-браузеров включают поддержку QUIC, как Google недавно сделал для Chrome и Apple сделал для бета-версии Safari, еще больше людей получат выгоду от улучшений. Помимо Instagram, мы считаем, что можем использовать преимущества QUIC для каждого опыта в нашем семействе приложений, при этом QUIC в конечном итоге составляет не только большую часть, но и весь интернет-трафик Facebook.

IETF планирует завершить работу над протоколом QUIC в качестве документа запроса комментариев (RFC) где-то в 2021 году.Как только это произойдет, еще больше веб-сайтов, приложений и сетевых библиотек начнут предлагать QUIC для общего пользования. В самом ближайшем будущем новые протоколы, такие как QUIC, будут необходимы для разблокировки инновационных интернет-приложений. Для нас QUIC — это отправная точка, с которой мы можем продолжать улучшать взаимодействие людей с Facebook.

Так много людей внутри и за пределами Facebook сделали это развертывание возможным. Мы хотели бы поблагодарить всех, кто участвовал в рабочей группе IETF QUIC в течение последних нескольких лет, неустанно обсуждая и разрабатывая QUIC.В рабочую группу входит множество людей из самых разных слоев общества, которые создали действительно замечательный протокол за относительно короткий период времени.

TCP | Google Cloud

TCP Proxy Load Balancing — это балансировщик нагрузки обратного прокси, который распределяет TCP трафик, поступающий из Интернета на экземпляры виртуальных машин (ВМ) в вашем Сеть Google Cloud VPC. Когда используешь Балансировка нагрузки TCP-прокси, трафик, поступающий через TCP-соединение, прекращается на уровень балансировки нагрузки, а затем перенаправляется на ближайший доступный бэкэнд используя TCP или SSL.

TCP Proxy Load Balancing позволяет использовать один IP-адрес для все пользователи по всему миру. Балансировщик нагрузки TCP-прокси автоматически маршрутизирует трафик к бэкэндам, ближайшим к пользователю.

На уровне Premium можно настроить балансировку нагрузки прокси-сервера TCP как глобальную служба балансировки нагрузки. На уровне Standard балансировщик нагрузки TCP-прокси обрабатывает нагрузку. балансировка на региональном уровне. В разделе Поведение балансировщика нагрузки в Уровни сетевых услуг.

В этом примере соединения для трафика от пользователей в Сеуле и Бостоне завершается на уровне балансировки нагрузки.Эти связи с маркировкой 1a и 2a . Устанавливаются отдельные соединения от нагрузки. балансировщик выбранных бэкэнд-инстансов. Эти соединения имеют маркировку 1b . и 2b .

Балансировка нагрузки прокси TCP предназначена для трафика TCP на определенных хорошо известных порты, такие как порт 25 для SMTP. Для большего информацию см. Порт технические характеристики.Для клиентского трафика, зашифрованного на тех же портах, используйте Балансировка нагрузки SSL-прокси.

Для получения информации о том, чем балансировщики нагрузки Google Cloud отличаются от каждого прочее, см. следующие документы:

Преимущества

Некоторые преимущества балансировщика нагрузки TCP-прокси включают:

• Завершение IPv6. TCP Proxy Load Balancing поддерживает как IPv4, так и IPv6 адреса для клиентского трафика. Клиентские запросы IPv6 завершаются на уровне балансировки нагрузки, а затем проксируются через IPv4 на ваш бэкэнды.
• Интеллектуальная маршрутизация. Балансировщик нагрузки может направлять запросы на серверную часть. места, где есть вместимость. Напротив, балансировщик нагрузки L3 / L4 должен маршрут к региональным серверам без учета пропускной способности. Использование умнее маршрутизация позволяет инициализировать N + 1 или N + 2 вместо x * N.
• Установка исправлений безопасности. Если в стеке TCP возникают уязвимости, Cloud Load Balancing автоматически применяет исправления к балансировщику нагрузки чтобы ваши серверы были в безопасности.
• Поддержка следующих хорошо известных портов TCP. 25, 43, 110, 143, 195, 443, 465, 587, 700, 993, 995, 1883, 3389, 5222, 5432, 5671, 5672, 5900, 5901, 6379, 8085, 8099, 9092, 9200 и 9300.

Поведение балансировщика нагрузки на уровнях сетевых служб

TCP Proxy Load Balancing можно настроить как глобальную службу балансировки нагрузки. с премиум-уровнем и как региональный обслуживание на уровне Standard.

Премиум уровня и Стандартный уровень

Для премиум-уровня:

• У вас может быть только одна серверная служба, а серверная служба может имеют серверные части в нескольких регионах. Для глобальной балансировки нагрузки вы развертываете свой бэкэнды в нескольких регионах, а балансировщик нагрузки автоматически направляет трафик в ближайший к пользователю регион. Если регион загружен, балансировщик нагрузки автоматически направляет новые подключения в другой регион с доступная мощность.Существующие пользовательские подключения остаются в текущем регионе.
• Google объявляет IP-адрес вашего балансировщика нагрузки со всех точек присутствие по всему миру. Каждый IP-адрес балансировщика нагрузки является глобальным произвольным.
• Если вы настраиваете серверную службу с серверной частью в нескольких регионах, Google Внешние интерфейсы (GFE) пытаются направить запросы к работоспособному внутреннему экземпляру группы или NEG в регионе, ближайшем к пользователю. Подробная информация о процессе задокументировано на этой странице.

Для стандартного уровня:

• Google рекламирует IP-адрес вашего балансировщика нагрузки из точек присутствия. связанный с регионом правила переадресации.Балансировщик нагрузки использует региональный внешний IP-адрес.

• Вы можете настроить серверные ВМ в том же регионе, что и правило переадресации. Процесс, описанный здесь, по-прежнему применяется, но GFE направляют запросы только на здоровые серверные ВМ в этом одном регионе.

Процесс:

Режим балансировки и выбор цели определяют «полный» с точки зрения каждый зональный GCE_VM_IP NEG, группа зональных экземпляров или зона регионального экземпляра группа.Распределение внутри зоны осуществляется с помощью последовательного хеширования.

Балансировщик нагрузки использует следующий процесс:

1. Внешний IP-адрес правила переадресации объявляется граничными маршрутизаторами на границы сети Google. В каждом объявлении указывается следующий переход к Система балансировки нагрузки уровня 3/4 (Maglev) максимально приближена к пользователю.
Системы
2. Maglev проверяют исходный IP-адрес входящего пакета. Они направить входящий запрос в системы Maglev, которые гео-IP Google системы определяют как можно ближе к пользователю.
3. Системы Maglev направляют трафик во внешний интерфейс Google (GFE) первого уровня. GFE первого уровня направляет трафик к GFE второго уровня в соответствии с этим процесс:
1. Если серверная служба использует группу экземпляров или GCE_VM_IP_PORT Серверы NEG, GFE первого уровня предпочитают GFE второго уровня, которые расположен в или рядом с регионом, который содержит группу экземпляров или NEG.
2. Для серверных сегментов и серверных служб с гибридными NEG, без сервера NEG и интернет-NEG, GFE первого уровня выбирают GFE второго уровня в подмножество регионов, так что время приема-передачи между двумя GFE равно сведены к минимуму.

   Предпочтение GFE второго уровня не является гарантией и может динамически изменяться в зависимости от состояния и обслуживания сети Google.

   GFE второго уровня осведомлены о статусе проверки работоспособности и фактическом сервере использование емкости.

4. GFE второго уровня направляет запросы к серверным модулям в зонах в пределах своего региона.
5. Для уровня Premium иногда GFE второго уровня отправляют запросы на серверные ВМ в зонах. разных регионов. Такое поведение называется побочным эффектом .

Перелива регулируется двумя принципами:

• Перелива возможна, когда все бэкенды известны второму уровню GFE работают на пределе своих возможностей или работают нездорово.
• GFE второго уровня содержит информацию для исправного, доступного бэкенды в зонах другого региона.

GFE второго уровня обычно «знают» о подмножестве серверной части. локации.

Переливное поведение не исчерпывает все возможные Google Cloud зоны.Если вам нужно направить трафик от бэкендов в определенном зоны или всего региона необходимо установить масштабатор емкости на ноль. Настройка серверных ВМ на отказ проверки работоспособности не гарантирует, что GFE второго уровня распространяется на серверные модули в зонах другого региона.

При распределении запросов на бэкенды GFE работают на зональном уровне.

При небольшом количестве подключений GFE второго уровня иногда предпочитают одна зона в регионе по сравнению с другими зонами.Это предпочтение нормально и ожидал. Распределение по зонам в регионе не становится равномерным. пока балансировщик нагрузки не получит больше подключений.