Архивировние и восстановление БД через ClickHouse BACKUP/RESTORE
Информация, приведенная на данной странице, является разработкой команды pre-sales и/или community KUMA и НЕ является официальной рекомендацией вендора.
Данная инструкция проверена и актуальна только для версии KUMA 3.0.3.19
Описание
Данный метод позволяет выполнять локальное архивирование и восстановление партиций ClickHouse через встроенные механизмы BACKUP и RESTORE.
В статье описан пример ручного резервного копирования и восстановления на сервере в конфигурации All-in-One. При помощи скриптов данный подход может быть автоматизирован и распространен на распределенную конфигурацию.
Всегда помните, если вы производите резервное копирование и/или архивирование и не проверяете корректность бэкапов, а также не пробуете их восстанавливать, существует вероятность, что вы не сможете восстановиться из резервной копии, когда это будет действительно необходимо.
Настройка хранилища
1. Создать на сервере хранилища директорию для сохранения резервных копий, например, /tmp/test_backup
2. Сделать владельцем директории пользователя kuma с помощью команды:
chown kuma:kuma /tmp/test_backup/3. Убедиться, что у пользователя kuma также есть права x и r на всех родительских директориях
4. Перейти в Web-интерфейс KUMA на вкладку "активные сервисы".
5. Открыть на редактирование требуемый сервис хранилища.
6. В поле "Переопределение параметров ClickHouse" задать разрешенный путь для сохранения резервных копий
<backups>
<allowed_path>/tmp/test_backup/</allowed_path>
</backups>7. Сохранить сервис хранилища
8. На вкладке "Активные сервисы" выбрать галочкой соответствующий сервис и нажать перезапустить в верхнем меню для применения настроек
Как проверить, что изменения применились
1. Перейдите в консоль соответствующего сервиса Хранилища
2. Выполните команду
cat /opt/kaspersky/kuma/clickhouse/cfg/config.d/override.xml3. В выводе должны быть параметры, переопределенные в настройках севриса
Выполнение архивирования
1. Запустить клиента clickhouse командой
/opt/kaspersky/kuma/clickhouse/bin/client.sh2. Выполнить запрос для просмотра партиций, например, такой
SELECT partition, name, partition_id
FROM system.parts
WHERE table='events_local_v2'
AND NOT positionCaseInsensitive(partition,'audit')>0
ORDER BY partition DESC3. В результате будут выведены названия и id партиций
Для фильтрации по дате можно воспользоваться следующим запросом
SELECT partition, name, partition_id
FROM system.parts
WHERE substring(partition,2,8) = '20240406'
AND table='events_local_v2'
AND NOT positionCaseInsensitive(partition,'audit')>0В результате будут выведены все партиции, кроме партиций событий аудита за 6 апреля 2024 года
4. Для архивации потребуется значение из первой колонки (partition) или последней (partition_id)
5. Для архивации партиции по id необходимо выполнить команду
BACKUP TABLE kuma.events_local_v2
PARTITION ID '04fb255c7659adfd1d43ed2dd0646b10'
TO File('/tmp/test_backup/20240406_04fb255c7659adfd1d43ed2dd0646b10.tar.gz')Описание параметров
04fb255c7659adfd1d43ed2dd0646b10 - id партиции из предыдущего запроса
/tmp/test_backup/ - директория для бэкапов
20240406_04fb255c7659adfd1d43ed2dd0646b10.tar.gz - имя файла бэкапа (может быть произвольным)
Важно! В ClickHouse использующемся в KUMA до версии 3.4 включительно присутствует баг, при котором параметр compression_method игнорируется.
При необходимости сжатия архива необходимо выпполнять архивацию собственными силами.
В случае, если все прошло успешно будет получено сообщение о создании бэкапа:
Также посмотреть состояние бэкапа можно через запрос к таблице system.backups
SELECT * FROM system.backups ORDER BY start_time \G
Либо сразу с фильтрацией по соответствующему id, который был получен в результате выполнения резервного копирования
SELECT * FROM system.backups WHERE id = '66bc2331-9d66-445f-87e7-56e42e2c2b58' \GПосле выполнения резервного копирования партицию можно удалить из интерфейса KUMA, либо с помощью клиента ClickHouse, либо же дождаться истечения срока хранения.
Пример удаления партиции из интерфейса
1. Перейти на вкладку "Активные сервисы"
2. Выбрать нужное хранилище, нажать по его имени правой кнопкой мыши и выбрать пункт "Смотреть разделы"
3. В разделах выбрать нужный и нажать удалить
Выполнение восстановления
1. Запустить клиента clickhouse командой
/opt/kaspersky/kuma/clickhouse/bin/client.sh2. Выполнить запрос для восстановления
RESTORE TABLE kuma.events_local_v2
PARTITION ID '04fb255c7659adfd1d43ed2dd0646b10'
FROM File('/tmp/test_backup/20240406_04fb255c7659adfd1d43ed2dd0646b10.tar.gz')
SETTINGS allow_non_empty_tables=true3. В результате будет восстановлена выбранная партиция из бэкапа и получено соответствующее сообщение:
Если бэкап содержит несколько партиций
В таком случае можно перечислить сразу несколько ID или названий партиций, например:
RESTORE TABLE kuma.events_local_v2
PARTITIONS (20240405,'a1fbde7a-76d3-4bbc-a769-82126b41b56f',''),
(20240406,'faeede7a-76d3-4bbc-a769-82126b41e453','')
FROM File('/tmp/test_backup/20240406_04fb255c7659adfd1d43ed2dd0646b10.tar.gz')
SETTINGS allow_non_empty_tables=trueЛибо выполнить восстановления всех партиций из бэкапа (также полезно в случае, если не известно id или имя партиции)
RESTORE ALL
FROM File('/tmp/test_backup/20240406_04fb255c7659adfd1d43ed2dd0646b10.tar.gz')
SETTINGS allow_non_empty_tables=trueПо аналогии с резервным копированием в таблице system.backups можно посмотреть состояние
SELECT * FROM system.backups ORDER BY start_time \G
Либо сразу с фильтрацией по соответствующему id, который был получен в результате выполнения восстановления:
SELECT * FROM system.backups WHERE id = 'd7758d2f-59c1-4650-afba-c1c288402bf5' \GПри восстановлении партиция ВСЕГДА восстанавливается на диск горячего хранения. Перенос данных на холодное хранение выполняется раз в 1 час. Для форсирования операции необходимо перезапустить сервис Ядра KUMA
Полезные ссылки
ClickHouse Backup and Restore: https://clickhouse.com/docs/en/operations/backup
No Comments