Подготовка ОС перед установкой и Требования

Актуальные для развёртывания системы пакеты KUMA запросите у сотрудника Лаборатории Касперского.

Наборы правил корреляции и их описание по ним запросите у сотрудника Лаборатории Касперского.

Карта доступов для KUMA https://support.kaspersky.com/help/KUMA/2.1/ru-RU/217770.htm

Подготовка целевой машины

1. Установите ОС Oracle Linux 8.7 (либо Astra Linux SE 1.7) на машину, выбрав вариант установки Server (с GUI). Скачать образ Oracle Linux 8.7 или Astra Linux «Орел» Common Edition (если нет SE):
2. При установке на этапе разбивке диска основной объем пространства (80-90%) выделите для раздела /opt (если его нет - необходимо создать помимо стандартных разделов Linux), а также рекомендуется отдельный раздел под журналы /var/log (~5% от общего пространства)
3. Настройте временнУю зону и синхронизацию системного времени с NTP-сервером (можно сделать до установки ОС, необходимо на всех серверах).
4. Установите имя хоста. Настоятельно рекомендуется использовать FQDN (где есть хотя бы одна точка), например, kuma-1.mydomain.com. Учтите, что после установки KUMA имя хоста изменять не следует, т.к. это приведет к невозможности проверки подлинности сертификатов и нарушит сетевое взаимодействие между компонентами KUMA (Настройку имени хоста можно сделать до установки ОС).
5. Зарегистрируйте целевую машину в DNS-зоне Вашей организации (если это возможно). Альтернативный вариант - использовать файл hosts для преобразования имен в IP-адреса на каждой машине.
6. Задайте пароль пользователю root (можно сделать до установки ОС).
7. Не создавайте пользователя kuma, он создается автоматически при установке продукта (придумайте другое имя).
8. Пропишите в файле /etc/hosts сервера KUMA его полное доменное имя и IP адрес (в случае распределенной установки описать все сервера KUMA в этом файле и установить на все хосты).
9. Пропишите в файле /etc/hostname его полное доменное имя сервера KUMA.
10. На всех серверах необходимо ВЫКЛЮЧИТЬ SELinux, а на серверах хранилищ ВКЛЮЧИТЬ использование ipv6.
11. Убедитесь, что срабатывает команда python3 на системе, для выхода введите exit() Версия должна быть от 3.6, для проверки версии используйте команду python3 --version. Python необходим для разворачивания системы. Если версия ниже 3.6, то укажите ссылку на нужный исполняемый файл (sudo ln -s /usr/bin/python3.9 /usr/bin/python3). Убедитесь в наличии нужных библиотек для Python и пакетов ОС: https://support.kaspersky.com/help/KUMA/2.1/ru-RU/231034.htm
12. Установка пакетов KUMA происходит от учетной записи root (суперпользователь).

Требования для Хранилища и ZooKeeper

Процессор

с частотой от 2 ГГц;
с архитектурой x86_64 и поддержкой инструкций SSE 4.2;
Рекомендуется использовать технологии Turbo Boost и Hyper-Threading (при наличии);

ClickHouse работает более эффективно в конфигурациях с большим количеством ядер, но с более низкой тактовой частотой, чем в конфигурациях с меньшим количеством ядер и более высокой тактовой частотой. Например, 16 ядер с 2600 MHz предпочтительнее, чем 8 ядер с 3600 MHz.

ОЗУ

Необходимый объём RAM зависит от Сложности запросов и Объёма данных, обрабатываемых в запросах.

Рекомендуемый объем оперативной памяти от 16 Гб (для объемов данных ~ 16 - 32 ТБ [горячее хранение]);
Рекомендуемый объем оперативной памяти от 32 Гб (для объемов данных ~ 32 - 48 ТБ);
Рекомендуемый объем оперативной памяти от 48 Гб (для объемов данных ~ 48 - 64 ТБ);
Рекомендуемый объем оперативной памяти от 64 Гб (для объемов данных ~ 64 - 80 ТБ);
Рекомендуемый объем оперативной памяти от 128 Гб (для объемов данных > 80 ТБ);

Диск

Отключайте файл подкачки в продуктовых средах.

Рекомендуется использовать HDD-рейд (SAS 10-15k RPM) или SSD (обычно ~ > 15k EPS) в зависимости от нагрузки.

Пропускная способность диска является более важным фактором по сравнению с IOPS.

Файловая система ext4 — самый надежный вариант. XFS тоже работает хорошо. Большинство других файловых систем также должны работать нормально. FAT-32 и exFAT не поддерживаются из-за отсутствия жестких ссылок. Работа на NFS, тоже не лучшая идея.

Размер блока 64 КБ достаточен для большинства конфигураций RAID. Средний размер записи на сервере Clickhouse составляет примерно 1 МБ (1024 КБ), поэтому рекомендуемый размер страйпа (stripe) также составляет 1 МБ.

При необходимости размер блока можно оптимизировать, установив его равным 1 МБ, разделенному на количество дисков без четности в RAID-массиве, так что каждая запись распараллеливается на всех доступных дисках без четности. Никогда не устанавливайте размер блока слишком маленьким или слишком большим.

Zookeeper более критичен к диску и требует от 1000 IOPS, в зависимости от нагрузки, идеально использовать тип носителя NVMe

Сеть

ZooKeeper нужен IPv6, включите его в ОС, если он отключен;
По возможности, используйте сети 10G и более высокого класса, мимнимально подойдет 1G.
Пропускная способность сети критически важна для обработки распределенных запросов с большим количеством промежуточных данных. Также, скорость сети влияет на задержки в процессах репликации.

Zookeeper рекомендуется устанавливать на отдельные сервера, отдельно от ClickHouse (при возможности, обычно это ~ > 50k EPS), тк Zookeeper менее производительна при установке на одном узле с ClickHouse. Процессор и ОЗУ - по сайзингу.

Требования для Core / Collector / Correlator

Требования к процессору и ОЗУ по сайзингу, диски можно использовать любые HDD от 7,5k RPM от 0,5 ТБ.

Любое новое обогащение или агрегация на коллекторе это ~+ 100-200 Мб к ОЗУ (учитывайте это при расчете)

Объем диска на ядре зависит от количества создваемых Алеротов, рекомендуется от 1 ТБ

Требования к отказоустойчивому ядру в кластере Kubernetes

Требования к процессору и ОЗУ по сайзингу.

Диск

Быстрые диски являются наиболее важным фактором производительности и стабильности развертывания.

По возможности используйте диски SSD, в крайнем случе подойдет HDD-рейд (SAS 10-15k RPM);

Сеть

Обычно 1GbE достаточно для обычных развертываний. Но если есть возможность, то 10GbE более предпочтительно;
Сетевые задержки не должны превышать 100 мс.