Современные серверные и высокопроизводительные вычислительные системы часто используют архитектуру NUMA (Non-Uniform Memory Access), которая кардинально отличается от традиционной модели UMA (Uniform Memory Access). В условиях многопроцессорных систем NUMA обеспечивает масштабируемость и более эффективное распределение ресурсов. Однако вместе с преимуществами NUMA приносит и новые вызовы: неправильная настройка или игнорирование особенностей этой архитектуры может существенно снизить производительность. Особенно это актуально для Linux-систем, где администратору предоставляется широкий набор инструментов для контроля и оптимизации NUMA-структуры.
Что такое NUMA и почему это важно
В традиционной UMA-архитектуре каждый процессор имеет равный доступ ко всей оперативной памяти, что удобно, но становится узким местом при увеличении количества ядер. NUMA предлагает другой подход: каждый процессор (или группа ядер) связан с «локальной» памятью, доступ к которой быстрее. Доступ к «удалённой» памяти другого NUMA-узла возможен, но сопровождается увеличенной задержкой и снижением пропускной способности. Это особенно критично для приложений, интенсивно использующих память, таких как базы данных, научные расчёты и высокочастотная обработка данных.
Если процессы неправильно распределяются по NUMA-узлам, они могут чаще обращаться к удалённой памяти, что ведёт к потере производительности, росту задержек и нестабильности поведения. Именно поэтому системным администраторам и разработчикам важно понимать, как NUMA влияет на производительность, и как правильно настраивать систему.
Проверка конфигурации NUMA в Linux
Первый шаг к оптимизации — это диагностика текущей конфигурации. В Linux существует ряд команд, позволяющих получить подробную информацию о NUMA-топологии. Одна из основных — lscpu. Она покажет распределение ядер по NUMA-узлам. Также полезны команды numactl --hardware и numastat, предоставляющие сведения о количестве узлов, объёмах локальной памяти и количестве обращений к удалённой памяти.
Например, команда numactl --hardware может выдать:
Из этого можно сделать вывод, что система имеет два NUMA-узла по 4 ядра и по 32 ГБ оперативной памяти.
Команда numastat позволяет отслеживать статистику использования памяти: сколько байт было выделено на каждом узле и сколько было обращений к удалённой памяти. Если число обращений к удалённой памяти велико — это сигнал к оптимизации.
Настройка привязки процессов и памяти
Для более эффективной работы приложений важно, чтобы процесс использовал локальную память своего NUMA-узла. Это достигается с помощью утилиты numactl, которая позволяет управлять размещением процессов и аллокацией памяти.
С помощью команды:
можно запустить приложение, которое будет использовать только процессоры и память NUMA-узла 0. Это особенно полезно для приложений с фиксированной нагрузкой, таких как инстансы PostgreSQL или Redis, где важно минимизировать задержки.
Однако следует учитывать, что слишком жёсткое закрепление может привести к неэффективному использованию ресурсов, особенно если приложение масштабируется. В таких случаях предпочтительнее использовать более гибкие политики, например, interleave, которая равномерно распределяет память между узлами:
Использование cgroups и systemd
В современных дистрибутивах Linux активно используется systemd, который позволяет задавать NUMA-политики через cgroups. В конфигурации сервиса можно указать параметры, ограничивающие доступ к определённым NUMA-узлам. Это удобно для систем с множеством сервисов, где необходимо изолировать ресурсы.
Пример настройки в unit-файле:
Также доступен интерфейс через /sys/fs/cgroup/ и /proc, который позволяет детально отслеживать поведение системы в реальном времени.
Тонкая настройка ядра и загрузчика
Для систем с высокой нагрузкой можно на уровне загрузчика задать параметры ядра, влияющие на работу NUMA. Например, параметр numa_balancing=disable отключит автоматическую миграцию страниц памяти ядром. Это полезно, если размещение памяти полностью контролируется вручную.
Другой важный параметр — kernel.numa_balancing, который можно изменить в рантайме через sysctl:
или
Полное отключение может повысить предсказуемость поведения, но при этом увеличит ответственность администратора за корректное распределение ресурсов.
Практическая диагностика и тестирование
Для оценки влияния NUMA на производительность можно использовать бенчмарки, такие как stream, lmbench или numactl с тестовыми нагрузками. Также стоит протестировать приложения в нескольких режимах запуска: с разными политиками размещения, с включённым и выключенным автоматическим балансировщиком NUMA, чтобы определить наилучшее сочетание параметров.
Некоторые современные приложения, например, базы данных Oracle или SAP HANA, уже оптимизированы под NUMA и включают собственные механизмы управления размещением. В таких случаях вмешательство администратора сводится к обеспечению корректной топологии системы и базовой конфигурации.
Заключение
NUMA — это не просто аппаратная особенность, а ключевой фактор производительности в многопроцессорных системах. Грамотная настройка NUMA в Linux позволяет добиться значительного роста производительности, особенно в задачах, критичных к задержкам и пропускной способности памяти. Используя встроенные инструменты диагностики и контроля, такие как numactl, numastat, cgroups и параметры ядра, можно тонко управлять поведением приложений и эффективно использовать ресурсы системы. При этом важно учитывать специфику каждого приложения и не полагаться на универсальные решения — в мире NUMA подход «один размер для всех» не работает.