Типы хранения данных в KUMA
В KUMA существует три типа пространства для хранения событий:
- Горячее
- Холодное
- Архивное
Для оптимизации использования дискового пространства и ускорения выполнения запросов в KUMA введено несколько уровней устройств хранения:
- Горячее (hot) - быстродействующие устройства с ограниченным объемом пространства [Диски, например: NVMe или SSD];
- Холодное (cold) - медленные устройства, но большого объема [Диски, например: HDD SAS или HDD SATA].
Основная идея разделения хранилищ на "горячие" и "холодные" состоит в том, что доступ к данным сохраняется, но при этом увеличиваются задержки. Используется сочетание настроек политики хранения ClickHouse и механизма переноса разделов таблиц между дисками. Плюсом подхода является возможность использовать в качестве хранилища любое примонтированное в качестве каталога Linux устройство, а также хранилища HDFS.
Для холодного по объему пространства нужно столько же, сколько и для горячего (нет дополнительной компресии), сами диски можно использовать менее производительней и подешвле.
- Архивное хранение — (отщелкивание индексов ClickHouse) по архивным данным поиск не возможен, только если вручную, либо автоматизировано разархивировать и аттачить партиции. [Диски, например: Лента, HDD SATA, USB FLASH]. Операция архивирования выполняется не автоматически [функционал не из коробки], есть скрипт не официальный, который может выполнять эту задачу (доступен из комьюнити в PreSalePack - см. тут). Объем занимаемого пространства примерно на 40% меньше, чем при горячем/холодном хранении.