Система резервного копирования Borg Backup : Linux

OlegON · █ 23.01.2018 21:03

Чем мне не нравятся системы резервного копирования вроде Bacula, тем, что у них претензия на корпоративность, т.е. надо машину выделять, либо терпеть несколько лишних демонов, которые постоянно торчат у тебя на десктопе. Я терпеть не хочу, а вот данных для бекапа у меня много.

И тут посоветовали borgbackup. Софтинка на питоне, но часть написана на С для скорости.

Управление очень простое и похоже на то, как у систем контроля версий, если кто с ними работал. Сначала инициализируешь директорию бекапа, потом в нее все пихаешь.

Что прикольно:
1. Дедубликация на уровне чанков. Т.е. если файлы одинаковые, софтинка это видит и дважды хранить одно и тоже не будет.
2. Сжатие и шифрование. Полученные данные можно куда-то залить, где ходят всякие, лишь бы не стерли.
3. Архив бекапов можно замонтировать, как диск, одной командой.
4. Может работать с репозиторием через SSH (забирать файлы по SSH не может)

В общем, сам пробую и другим рекомендую обратить внимание. Что-то явно интересное.

OlegON · █ 25.01.2018 14:07

Код:

Time (start): Thu, 2018-01-25 14:01:01
Time (end):   Thu, 2018-01-25 14:04:37
Duration: 55.98 seconds
Number of files: 415042
Utilization of max. archive size: 0%
------------------------------------------------------------------------------
                       Original size      Compressed size    Deduplicated size
This archive:              821.16 GB            777.88 GB            501.95 MB
All archives:                1.89 TB              1.77 TB            628.81 GB

                       Unique chunks         Total chunks
Chunk index:                  720258              1911130
------------------------------------------------------------------------------

Нормально, я считаю....

OlegON · █ 08.04.2021 15:17

Уже достаточно давно пользуюсь этим средством резервного копирования и могу порекомендовать.
Из особенностей, которые заметил за этот период:
1. Как ни парадоксально, но сжатие дает значительно меньший эффект экономии, чем дедубликация. Собственно, можно вообще не сжимать, если скорость играет какую-либо роль.

2. Для хорошего сочетания скорость/коэффициэнт сжатия, я использую zstd и тут даже самым жадным не стоит закручивать параметры сжатия, проводил тесты на хранилище Форума
zstd,22
Duration: 2 hours 29 minutes 12.42 seconds

Код:

			Original size      Compressed size    Deduplicated size
This archive:              354.89 GB            346.63 GB            305.35 GB

zstd,6
Duration: 1 hours 24 minutes 4.40 seconds

Код:

                       Original size      Compressed size    Deduplicated size
This archive:              354.89 GB            347.03 GB            306.00 GB

то есть видно, что за счет чуть ли не двукратного увеличения времени работы на 350Гб архива выигрываем менее 1Гб... Спорная экономия. Конечно, от содержимого данных многое зависит, но, думаю, тут дедубликация должна срабатывать наравне с компрессией, если подкладывать что-то кроме архивов.

3) Из тех опций, что я использую для ежедневного копирования, могу порекомендовать эти:
--noxattrs --noatime --nobsdflags --stats --progress --compression auto,zstd,6

OlegON · █ 09.04.2021 14:39

Обратите внимание, что и без того очень опасная команда prune может оставить вас без бекапов, если вы сваливаете в одну корзинку несколько разных бекапов, как это делаю я.
В этом случае prune надо запускать обязательно с опцией prefix, то есть так

Код:

borg prune --prefix config --keep-daily=3 --keep-weekly=1 --keep-monthly=1 --save-space
borg prune --prefix users --keep-daily=3 --keep-weekly=1 --keep-monthly=1 --save-space
borg prune --prefix global --keep-daily=3 --keep-weekly=1 --keep-monthly=1 --save-space

в противном случае (без указания префикса), как я выяснил, borgbackup оставил мне global, как я и просил по опциям, но users был только последний, а config вообще не было... Такой вот сюрприз. Префикс - это то, как вы сам бекап называете, то есть ::global-{now} про global, например.
Впрочем, для меня вообще загадка, как можно хранить ежемесячный бекап, не сохраняя ежедневный каждый день на протяжении месяца.

OlegON · █ 15.05.2023 20:50

3) Из тех опций, что я использую для ежедневного копирования, могу порекомендовать эти (они немного поменялись):
--noxattrs --noflags --stats --progress --compression auto,zstd,6

ну и смонтировать это все посмотреть...

Код:

borg mount /path/to/repo /mnt/mymountpoint
ls /mnt/mymountpoint
root-2016-02-14 root-2016-02-15
borg umount /mnt/mymountpoint