Raid массивы и организация резервного копирования : Железо

1. не что не мешает архивировать только изменившееся данные...
2. Мой вариант если есть два винта по терабайту копировать архив на оба. это обеспечит на мой взляд БОльшую безопасность хранения.

да ты прикалываешься :) во-первых, как я уже говорил, на btrfs контрольная сумма, т.е. целостность все же надежнее и восстанавливается быстрее, поскольку переписывать придется только сбойные блоки, кстати, там и сжатие есть. во-вторых, добавлять в архив, особенно, если какой-то solid, будет зверски долго. в-третьих, это "зверски долго" либо повторять на второй диск, либо терабайт каждый день гонять? ты попробуй рейд zfs на отдельной машине или btfrs, если на десктопе? классная вещь. попробуй их поубивать :)

zfs я пользую прекрасно...

меня не оставляет ощюшение что мы с тобой спорим о темлом и мягком...

если у тебя файлы решит прибить сама ос? или вирус? или кивые руки пользователя работающего хексом?
тебя твой синкнутый образ не спасёт т.к. на нем будут ровно теже самые ошибки что и на мастере...
а холодный бэкап позволяем хранить снимок на момент времени... да он затратен по ЦПУ косту и тайму...
однако их может быть много и вместо того чтобы иметь два винта с бэкапами которые синкуются между собой я предпочту два винта на которые скажем поочередно кладутся холодные бэкапы...
вероятность откатиться на "кудато" где всё впорядке на порядок выше...

Во-первых, у меня вряд ли будет вирус :) Во-вторых, с "сама ОС" я еще не сталкивался. Антивирусы убивали и воровали файлики - да. Но у меня их нет. Кривые руки пользователя, конечно, могут что-то попортить. Но для этого, во-первых, на btrfs есть снапшоты, по времени - обснимайся. Мне они, правда, не нужны, т.е. я могу и версионность поддерживать, только делаю это реже - раз в неделю забирается бекап на третий диск и раз в месяц - на внешний копирую руками. Объем данных таков, что другую версионность негде поддерживать. Еще и в сеть заливаю.

Твой вариант плох тем, что пользователя не приучишь ждать, пока там что-то заархивируется. Подчеркиваю еще раз. Там терабайт. И Wifi у пользователя, rsync у пользователя пролетает мухой. Как быть с архивом я вообще не представляю. Кроме того, повредить целиком весь архив проще, чем ФС. И, да, у меня часто возникает желание синкнуться на зеркало "по быстрому", например, докинуть дневную работу по оптимизатору. В терабайтный архив это вряд ли можно сделать раз в 10 минут. За дисками с архивами следить нужно не меньше, чем за зеркалом. Если сдохнет основной диск - цепочка нарушится. У меня она, кроме копирования на внешний диск, полностью автоматическая.

Т.е. на момент времени у меня данные: а) текущие у пользователя б) обновляющиеся каждое утро с пользователя по Wi-fi на btrfs-зеркале в) обновляющиеся каждую пятницу с зеркала на btrfs-диске г) обновляющиеся раз в месяц с зеркала в сети и на внешнем диске. Как ты предлагаешь организовать что-то подобное с архивами? У пользователя архивировать нельзя - ноутбук. Машина с зеркалом на ночь засыпает (как и Wi-fi).

1. я не заню как там у вас на "нормальных" осях.. но на недооси есть шадоу кипинг... т.е. когда пользователь продолжает работать с файловой системой, а для залоченных файлов создаётся снапшот и он уже архивируется...
так что недождется - это тут уж... не аргумент... с таким же успехом пользователь может не дождаться синка дисков и рубануть питание - не аргумент...

2. То что у тебя врятли будет вирус... это ты ошибаешься... он у тебя уже есть... прям сейчас... мало того ты о нем знаешь...

3. То что ты не сталкивался "сама ОС" не значит что этого не может быть...

4. то что ты можешь поддерживать версиооность в бтрфс - это круто... но мы то здесь за немного более общие понятия говорим ... я не знаю такой ФС на "недоос" с такими возможностями... а кроме того сами эти возможности - по поддержанию версионности это не к рэйд технологиям... это скорее к технологиям резервного копирования... т.е. бтрфс - это ФС "стырившая" многое из технологий резервного копирования больше чем из рэйд... и по сути это ФС более совершенная замена того же архиватора... с лоу цпу и тайм кост...

5. по твоей схеме у тебя 4 архива.. мастер... слэйв на бтрфс по вайфай... зеркало бтрфс на бтрфс ... и еще внешний диск...
для меня это избыточно... но это моё имхо...
я бы ограничился одним архивом с версионностью + синх с облаком...

1. Каким образом Shadow copy связано с архивом? Я про то, что архивировать-то когда? У пользователя машинка слабая, нельзя, а по Wi-fi архивировать, это надо юзера совсем не любить.

2. Ты меня пугаешь, это ты о чем?

3. Меня устраивает вариант исключительной редкости такого события.

4. На недоос бекапы хранить? Ну уж нет...

5. Не понял про архив с версионностью. Еще раз, вот у пользователя терабайт всякого барахла из небольших файлов. Локально на буке. Фоточки и прочее мракобесие. Сейчас это раз в сутки кроном синкается ко мне на зеркало. Каким образом поступить, если, как ты хочешь, запхать это в архив? Обновлять архив, который у меня лежит? А что будет, если связь порвется?

ИМХО...
Если машинка на столько слабая что на ней нельзя архивировать то с чем работают... в топку такую машинку... - но это моё имхо... и я про работу в основном ... для дома хз... не возникало у меня необходимости архивировать с ноута...
хранил сразу на насе...

Про твой биос...

Вопрос религии... не вижу смысла спорить...

Вопрос религии... не вижу смысла спорить...



Давай разберем....
Что мешает тем же самым кроном выбрать файлы с последнего запуска до крона по текущий момент и создать список измененных файлов? что собственно и происходит в бтрфс... не не что? хорошо... получив список измененных файлов что мешает нам их заархивировать в зип? нет не что? а что нам мешает положить этот архив кудато по сети? нет не что? так в чем собственно разница?
да ни в чем... разница лишь в том что отслеживает изменения у тебя rsync а не какой нибудь скрип по крону... но это все детали... идеологически разницы нет... да rsync поудобне... не более...

2. зачем... есть полный бэкап...
инкрементный или разностный... выбери кторый больше по душе... бэкапить можно только то что изменилось...
но моё ИМХО... если бекапишь бэкап полный бэкапом...

3. для таких вещей есть "информация для восстановления" в архивах... т.е. можно будет распаковать что успело заархивироваться... впрочем как и в твоём случии ... разницы нет...

Почему в топку? У тебя есть машинки, которые легко переваривают терабайт данных? Такое и моему i7 тяжело съесть. Не то, что буку.
Машинка, где BIOS шпионил, уже давно выведена из рабочих по старости. Кроме того, она в Linux вирус поставить не могла. В смысле, что не умела :)
Ты все больше и больше путаешь, пытаясь ответить не на суть, а не то, что тебе не нравится в моих рассуждениях. У меня это конкретная схема, она работает вот в данный момент. Как бы ты реализовал, пусть на винде, если тебе так хочется? Только без теоретических "что мешает", а с конкретными телодвижениями и софтом. Схему я обрисовал слабый клиент с терабайтом документов и картинок - вайфай - три диска. То, что ты предложил каждый раз собирать изменившиеся файлы, это хорошо и понятно. Это делает rsync, как я понял, ты предлагаешь эти файлы (а я писал, что их объем может резко скакнуть до гига) архивировать на месте и уже архивом отправлять по Wifi? Во-первых, если скопировать гигабайт еще можно, то сархивировать... Вряд ли. Мне первому же начнут тыкать, что все тормозит. Там i5/4, но это ноут. Два ядра и тормозной винт.
В моем случае, если что-то не дорсинкалось, оно никак не повлияет на целостность архива, недокачанный кусок будет удален при следующей синхронизации.
В общем, предлагай красивое решение, сравним.

офф... Машинка со старым биосов выведена... теперь новая с новым вирусом в UEFi... не суть...

Это как раз ты путаешься... ты вместо того чтобы обсуждать Raid обсуждаешь Rsync - который к raid технологиям не имеет вообще никакого отношения...

давай еще раз...
1. Rsync программа? да как и любой архиватор...
2. Rsync отслеживает изменения FS уровне ОС? да как и любая другая программа...
3. Можно написать архиватор который будет работать как rsysnc? да... собственно rsync так и появился... это просто некая разновидность архиватора который удобно работает по сети... не более...
Внимание вопрос какое отношение программа работающяя c FS на уровне ОС имеет к Raid или btrfs???
правильно ровно 0

Давай сюда ноут и файлы... будем тестить сколько и как архивируется... без теоритических терабайтов и что они постоянно меняются...
да и точку доступа гони... а то мжет она настроена криво и скорости не дает

не обязательно... можно спокойно архивировать прямо по сети...

Схему я тебе уже обрисовал...
1. 2 диска из 3 я бы убрал... я не состою в отношения с дочкой рокфеллера...
2. полный архив за ним разностный на 1 диск по сети...
3. Синхронизация архива или напрямую через webdav на облако...

а то вдруг ноут не дома и всё схема не рабочая...