Мнение

Почему 1 Гбит/с не означает 324 ТБ полезных данных: как рассчитать реальную пропускную способность

Почему 1 Гбит/с не означает 324 ТБ полезных данных: как рассчитать реальную пропускную способность

Фото: Brett Sayles / Pexels

Когда команда планирует сбор или обработку большого объёма общедоступных данных, пропускную способность часто выбирают по слишком простой логике: берут общий объём, делят на количество дней и получают среднюю скорость.

Математически такой расчёт верен. Но в реальной инфраструктуре он показывает только теоретический минимум. Задержка, повторные запросы, ограничения удалённых серверов, простой и протокольные расходы могут заметно увеличить необходимую пропускную способность.

Теоретический минимум

Для десятичных терабайтов среднюю требуемую скорость можно рассчитать так:

`требуемые Мбит/с = объём в ТБ × 8 000 000 ÷ секунды`, где `секунды = дни × 86 400`.

Допустим, проект должен обработать 100 ТБ данных за 30 дней. В 30 днях 2 592 000 секунд, значит:

`100 × 8 000 000 ÷ 2 592 000 = 308,6 Мбит/с`

На первый взгляд кажется, что соединения на 400 Мбит/с достаточно. Но значение 308,6 Мбит/с предполагает, что данные передаются непрерывно, круглосуточно и без единой ошибки. В реальной системе так практически не бывает.

Почему средней скорости недостаточно

Задержка. Чем дольше удалённый сервер отвечает на запрос, тем больше одновременных соединений нужно, чтобы использовать доступную полосу. Важно смотреть не только на среднее время ответа, но и на медиану P50 и на P95 — значение, ниже которого укладываются 95% запросов. Если P50 составляет 300 мс, а P95 доходит до двух секунд, расчёт по среднему будет слишком оптимистичным.

Повторные запросы. Часть запросов завершается ошибкой из-за временной недоступности сервера, сетевого сбоя или превышения времени ожидания. Если повторять приходится 10% трафика, проект фактически передаёт уже не 100 ТБ, а около 110 ТБ.

Время простоя. Система редко работает на максимальной скорости 100% времени: бывают перезапуски, обновления, снижение нагрузки ночью, ограничения удалённых ресурсов и техническое обслуживание. Поэтому полезно применять коэффициент использования: значение 0,70 означает, что в среднем удаётся задействовать 70% теоретической пропускной способности.

Практическая модель

Для более реалистичной оценки:

`плановые Мбит/с = теоретические Мбит/с × (1 + доля повторов) ÷ коэффициент использования`

Для нашего примера: теоретическая скорость — 308,6 Мбит/с, повторные запросы — 10%, коэффициент использования — 70%.

`308,6 × 1,10 ÷ 0,70 ≈ 485 Мбит/с`

То есть теоретически проекту достаточно 308,6 Мбит/с, но для практической работы разумнее заложить около 485 Мбит/с. Это не универсальное значение: оно меняется в зависимости от характера нагрузки, задержки, размера ответов и качества соединения.

Пример расчёта на Python

«`python from dataclasses import dataclass

SECONDS_PER_DAY = 86_400 BITS_PER_TERABYTE = 8_000_000

@dataclass(frozen=True) class BandwidthEstimate: theoretical_mbps: float planned_mbps: float

def estimate_bandwidth(traffic_tb: float, days: int, utilization: float = 0.70, retry_fraction: float = 0.10) -> BandwidthEstimate: if traffic_tb <= 0: raise ValueError(«traffic_tb must be positive») if days <= 0: raise ValueError(«days must be positive») if not 0 < utilization <= 1: raise ValueError(«utilization must be between 0 and 1») if retry_fraction < 0: raise ValueError(«retry_fraction cannot be negative»)

seconds = days * SECONDS_PER_DAY theoretical = traffic_tb * BITS_PER_TERABYTE / seconds planned = theoretical * (1 + retry_fraction) / utilization return BandwidthEstimate(round(theoretical, 1), round(planned, 1))

print(estimate_bandwidth(traffic_tb=100, days=30)) # BandwidthEstimate(theoretical_mbps=308.6, planned_mbps=484.9) «`

Что на самом деле означает «1 Гбит/с — 324 ТБ»

Такие значения показывают физическую ёмкость канала, а не гарантированный полезный объём. Соединение на 1 Гбит/с действительно может теоретически передать 324 ТБ за 30 дней. Но если фактическое использование составляет 70%, а 10% запросов повторяются, полезный объём будет заметно ниже.

Почему тестировать нужно из реального региона

Для проектов, которые работают из Казахстана или обращаются к инфраструктуре в других странах, важно проводить тесты из того же региона, где будет запущена рабочая система. На результат влияют:

  • международная маршрутизация;
  • расположение целевого сервера;
  • время суток и загруженность сети;
  • DNS и время установки соединения;
  • размер ответа;
  • количество одновременных соединений.

Тест из европейского дата-центра не всегда отражает поведение системы, развёрнутой в Казахстане.

Как реагировать на ответы 429 и 403

Ответы HTTP 429 и 403 нельзя считать сигналом для бесконечного увеличения числа соединений. Код 429 обычно означает, что удалённый сервис ограничивает частоту запросов: нужно уменьшить параллельность и использовать ограниченный экспоненциальный откат (exponential backoff). Код 403 может указывать на отсутствие разрешения, требование авторизации или ограничения, установленные владельцем ресурса.

Цель правильно спроектированной системы — максимизировать число разрешённых и успешных ответов, а не общее число отправленных запросов.

Порядок расчёта перед масштабированием

  1. Определить полный объём разрешённых данных.
  2. Установить доступный срок выполнения.
  3. Рассчитать теоретическую среднюю скорость.
  4. Оценить долю повторных запросов.
  5. Выбрать реалистичный коэффициент использования.
  6. Измерить P50 и P95 задержки.
  7. Провести небольшой контролируемый тест.
  8. Увеличивать нагрузку только при стабильной доле успешных ответов.

Вывод

Пропускная способность — это не объём данных, а скорость их передачи. Соединение без ограничения по объёму всё равно имеет определённую скорость. И наоборот, высокая заявленная скорость не гарантирует, что проект сможет непрерывно использовать её на 100%.

Поэтому инфраструктуру стоит выбирать не только по теоретической формуле. Надёжная оценка объединяет объём данных, доступное время, задержку, повторные запросы, простой и реальные измерения из региона, где система будет работать.

Michael Guy — автор практических материалов о Python, сетевой инфраструктуре и ответственном сборе общедоступных данных. Мнение автора может не совпадать с позицией редакции.

Понравился материал? Поделитесь с другими:

Picture of Раимбек Искендиров
Раимбек Искендиров
Исследую технологии будущего, запускаю продукты и помогаю предпринимателям сокращать путь от идеи до результата
Picture of Раимбек Искендиров
Раимбек Искендиров
Исследую технологии будущего, запускаю продукты и помогаю предпринимателям сокращать путь от идеи до результата

Похожие материалы

Крупный план таблички Bank на входе в банковское отделение. Главный предмет обложки — проданный банк.

Обзоры

Ракишев продал украинский БТА после шести лет попыток

Украинский БТА купила компания группы NOVA, которой принадлежит «Новая пошта». Банк переименуют в NovaBank. ...
Крупный план поисковой строки и значка временного чата на экране.

AI

Google добавляет временные чаты в ИИ-поиск: диалоги исчезают через 24 часа

Google запускает временные чаты в AI Mode. Диалоги исчезают через 24 часа, не попадают ...
Турбинный зал теплоэлектроцентрали с крупным энергетическим оборудованием. Главный предмет обложки — ТЭЦ, владелец которой привлёк деньги через облигации.

Обзоры

Владелец трёх ТЭЦ Алматы привлёк 34,77 млрд тенге с выплатой в 2039 году

АлЭС разместила облигации на 34,77 млрд тенге. Долг и накопленные проценты выплатят в 2039 ...

Читайте нас в Telegram и Instagram

Подписывайтесь на наши каналы, чтобы первыми получать самые свежие новости казахстанской IT-индустрии, анонсы грантов, стажировок и эксклюзивные интервью.