Фото: Brett Sayles / Pexels
Когда команда планирует сбор или обработку большого объёма общедоступных данных, пропускную способность часто выбирают по слишком простой логике: берут общий объём, делят на количество дней и получают среднюю скорость.
Математически такой расчёт верен. Но в реальной инфраструктуре он показывает только теоретический минимум. Задержка, повторные запросы, ограничения удалённых серверов, простой и протокольные расходы могут заметно увеличить необходимую пропускную способность.
Теоретический минимум
Для десятичных терабайтов среднюю требуемую скорость можно рассчитать так:
`требуемые Мбит/с = объём в ТБ × 8 000 000 ÷ секунды`, где `секунды = дни × 86 400`.
Допустим, проект должен обработать 100 ТБ данных за 30 дней. В 30 днях 2 592 000 секунд, значит:
`100 × 8 000 000 ÷ 2 592 000 = 308,6 Мбит/с`
На первый взгляд кажется, что соединения на 400 Мбит/с достаточно. Но значение 308,6 Мбит/с предполагает, что данные передаются непрерывно, круглосуточно и без единой ошибки. В реальной системе так практически не бывает.
Почему средней скорости недостаточно
Задержка. Чем дольше удалённый сервер отвечает на запрос, тем больше одновременных соединений нужно, чтобы использовать доступную полосу. Важно смотреть не только на среднее время ответа, но и на медиану P50 и на P95 — значение, ниже которого укладываются 95% запросов. Если P50 составляет 300 мс, а P95 доходит до двух секунд, расчёт по среднему будет слишком оптимистичным.
Повторные запросы. Часть запросов завершается ошибкой из-за временной недоступности сервера, сетевого сбоя или превышения времени ожидания. Если повторять приходится 10% трафика, проект фактически передаёт уже не 100 ТБ, а около 110 ТБ.
Время простоя. Система редко работает на максимальной скорости 100% времени: бывают перезапуски, обновления, снижение нагрузки ночью, ограничения удалённых ресурсов и техническое обслуживание. Поэтому полезно применять коэффициент использования: значение 0,70 означает, что в среднем удаётся задействовать 70% теоретической пропускной способности.
Практическая модель
Для более реалистичной оценки:
`плановые Мбит/с = теоретические Мбит/с × (1 + доля повторов) ÷ коэффициент использования`
Для нашего примера: теоретическая скорость — 308,6 Мбит/с, повторные запросы — 10%, коэффициент использования — 70%.
`308,6 × 1,10 ÷ 0,70 ≈ 485 Мбит/с`
То есть теоретически проекту достаточно 308,6 Мбит/с, но для практической работы разумнее заложить около 485 Мбит/с. Это не универсальное значение: оно меняется в зависимости от характера нагрузки, задержки, размера ответов и качества соединения.
Пример расчёта на Python
«`python from dataclasses import dataclass
SECONDS_PER_DAY = 86_400 BITS_PER_TERABYTE = 8_000_000
@dataclass(frozen=True) class BandwidthEstimate: theoretical_mbps: float planned_mbps: float
def estimate_bandwidth(traffic_tb: float, days: int, utilization: float = 0.70, retry_fraction: float = 0.10) -> BandwidthEstimate: if traffic_tb <= 0: raise ValueError(«traffic_tb must be positive») if days <= 0: raise ValueError(«days must be positive») if not 0 < utilization <= 1: raise ValueError(«utilization must be between 0 and 1») if retry_fraction < 0: raise ValueError(«retry_fraction cannot be negative»)
seconds = days * SECONDS_PER_DAY theoretical = traffic_tb * BITS_PER_TERABYTE / seconds planned = theoretical * (1 + retry_fraction) / utilization return BandwidthEstimate(round(theoretical, 1), round(planned, 1))
print(estimate_bandwidth(traffic_tb=100, days=30)) # BandwidthEstimate(theoretical_mbps=308.6, planned_mbps=484.9) «`
Что на самом деле означает «1 Гбит/с — 324 ТБ»
Такие значения показывают физическую ёмкость канала, а не гарантированный полезный объём. Соединение на 1 Гбит/с действительно может теоретически передать 324 ТБ за 30 дней. Но если фактическое использование составляет 70%, а 10% запросов повторяются, полезный объём будет заметно ниже.
Почему тестировать нужно из реального региона
Для проектов, которые работают из Казахстана или обращаются к инфраструктуре в других странах, важно проводить тесты из того же региона, где будет запущена рабочая система. На результат влияют:
- международная маршрутизация;
- расположение целевого сервера;
- время суток и загруженность сети;
- DNS и время установки соединения;
- размер ответа;
- количество одновременных соединений.
Тест из европейского дата-центра не всегда отражает поведение системы, развёрнутой в Казахстане.
Как реагировать на ответы 429 и 403
Ответы HTTP 429 и 403 нельзя считать сигналом для бесконечного увеличения числа соединений. Код 429 обычно означает, что удалённый сервис ограничивает частоту запросов: нужно уменьшить параллельность и использовать ограниченный экспоненциальный откат (exponential backoff). Код 403 может указывать на отсутствие разрешения, требование авторизации или ограничения, установленные владельцем ресурса.
Цель правильно спроектированной системы — максимизировать число разрешённых и успешных ответов, а не общее число отправленных запросов.
Порядок расчёта перед масштабированием
- Определить полный объём разрешённых данных.
- Установить доступный срок выполнения.
- Рассчитать теоретическую среднюю скорость.
- Оценить долю повторных запросов.
- Выбрать реалистичный коэффициент использования.
- Измерить P50 и P95 задержки.
- Провести небольшой контролируемый тест.
- Увеличивать нагрузку только при стабильной доле успешных ответов.
Вывод
Пропускная способность — это не объём данных, а скорость их передачи. Соединение без ограничения по объёму всё равно имеет определённую скорость. И наоборот, высокая заявленная скорость не гарантирует, что проект сможет непрерывно использовать её на 100%.
Поэтому инфраструктуру стоит выбирать не только по теоретической формуле. Надёжная оценка объединяет объём данных, доступное время, задержку, повторные запросы, простой и реальные измерения из региона, где система будет работать.
Michael Guy — автор практических материалов о Python, сетевой инфраструктуре и ответственном сборе общедоступных данных. Мнение автора может не совпадать с позицией редакции.