(Это продолжение предыдущей темы)

---

Для истории
Начало 5 лет назад / 19 августа 2019 22:12 Надежность хранения информации

Исправлено: а-р, 20.08.2024 15:53

TechStone
Если данные ультра важны, то найдет. Если нет, то пока петух не клюнет. Да даже после этого данные не важны и в будущем
Та же ошибка, что у Аллекса.
Данные потерять не хочется, а денег мало.
Выбирается СРЕДНЕЕ решение, которые ПОВЫШАЕТ надежность.
Писал выше - 1 копия архи ненадежно. Вторая на флешке - уже надежность появляется, но малая. Условно говоря, на 20%.
Внешний усб диск - еще на 50% добавили надежности. И так далее.

Добавление от 16.08.2024 11:29:

TechStone
У него просто одно и то же видео с разных форматах и разрешениях + оригиналы с разных камер
Так вот это и не бекапится - для бекапа достаточно максимальной копии.
Поэтому в раиде прибавка 200 гб в месяц, на сервере бекапа - 40 гб в месяц, на блюрай диск - 10 гб в месяц (естественно
ждет, когда наберется 100 - один 100 гб диск)

Григорий-Г
Данные потерять не хочется, а денег мало
Так это всем, кто всякую хре5нь хранит. А по факту, там фильмы, музыка в мр3 и некоторые фото с пьянок
Но тоже если спросить, терять не хочется, ага. Только к важности бекапа это отношения не имеет

СРЕДНЕЕ
ПОВЫШАЕТ
У вас какая-то гуманитарная метафизика прям
Уже только в конце предыдущего тома было про минимально необходимые. Если данные реально нужны

Вторая на флешке - уже надежность появляется, но малая
У меня для выступлений там треки хранятся, ессно, не в одном экземпляре. Я эти флешки, как хранитель, не рассматриваю. Это переноска и расходный материал. Ибо теряются, забываются, утаскиваются по перепуту...

Внешний усб диск - еще на 50% добавили надежности
Ну вот чтоб не таскать с полок и шкафов в руках эти диски, есть NAS. Удобнее, функциональнее и таскать в руках ничего не надо. Да и по WiFi работает чудесно. Прям красота!

А что в прошлой теме так и не выяснили, как лучше хранить информацию?

Григорий-Г
Данные потерять не хочется, а денег мало.
Выбирается СРЕДНЕЕ решение, которые ПОВЫШАЕТ надежность.

Кроилово ведет к попадалову.

Любые попытки и рыбку съесть и на лодке покататься в итоге всегда приводят к одному и тому же печальному результату.

Еще раз - до тех пор, пока решение не соответствует минимальным необходимым требованиям - оно не является ни надежным, ни даже решением вообще. Сколько бы ты себя не успокаивал процентиками.

Повышать надежность можно уже потом - когда она уже обеспечена.

С небольшим, малозаметным, ухудшение качества относительно оригинала 4к видео можно хранить даже на двд, H265 коде это вполне позволяет, вон в нетфликсе битрейт раньше был 13-17мбит в 4к, а сейчас и вовсе средний 8мбит.


Внешний усб диск - еще на 50% добавили надежности
Ну вот чтоб не таскать с полок и шкафов в руках эти диски, есть NAS. Удобнее, функциональнее и таскать в руках ничего не надо. Да и по WiFi работает чудесно. Прям красота![/q]

Удобнее для архива именно оптика, Wifi как и постоянный доступ к архиву не нужен - не стоит путать архив с файлопомойкой, а если по каким то причинам и кому то и нужен постоянный доступ к архиву, то никто и ничего не запрещает его сделать, хранение основной сверхнадежной коппии на блюрей это не запрещает, как и требования постонного доступа к архиву также не означают что нужно отказаться от меганадежной основной копии на блюрей и хранить только теперь на дохлом носителе, отказавшись от долговечного.

TechStone
И кто в этом виноват?

Те, кто меняет правила по ходу игры. Представьте, что вы положили деньги в банк, пришли за ними, а вам отвечают: "у нас изменились правила и мы ваши деньги отдали в фонд борьбы с глобальным потеплением на Марсе".

Минимальные требования у каждого свои. Кому-то достаточно схемы хранения с надёжностью 99,99%, а кому-то и 99,9999999% мало будет. А каждая дополнительная девяточка в надёжности - это вполне конкретные расходы.

Я для себя считаю достаточной схему: рабочий экземпляр - NAS - облако - оптика. Все носители разнородные, географически разнесенные имеются. Ставить дома 2-3-4 NAS не хочу. Затраты личного времени на обеспечение надёжности - около часа в год (я же не сижу, пристально глядя на привод, пока пишется диск)

TechStone
Только к важности бекапа это отношения не имеет
Это жонглирование терминами.
Каждый человек, которых хочет не потерять данные, даже если данные - фото сосед мордой в салате, имеет отношение к бекапу.
А-а, понял, наверно и Аллекс этого не понимает, потому талдычит - или полная надежность, или надежности нет.
Сохранение фото морды в салате требует СРЕДНЕЙ надежности - т.е. вроде сохранить и хочется, а вроде и ничего не случится, если потеряется.

makc123
А что в прошлой теме так и не выяснили, как лучше хранить информацию?
Абзац выше.
Как хранить на предприятии или если дома по факту человек устроил предприятие - выяснили год назад.
То есть в условиях, когда сохранность инфо - вопрос выживания. Тогда верно заявление, либо 100% надежность, либо считай надежности нет и сохранности нет.

Дальнейшие десятки страниц -
Вопрос понимания терминологии - я начал писать про домашнее хранение, которое имеет ту основную разницу, что вроде бы сохранить хочется - тогда оно имеет отношение к сабжу (читаем заглавие), но денег на это выделять не хочется, поэтому кто во что горазд: кто на вторую флешку пишет, кто в облако, кто на USB внешний диск.
И это НЕ вопрос выживания - ну потерял фотку Вася в салате, ну и черт с ним.

Я сильно подозреваю, что темы надо разделить - но тогда надо менять заглавие в этой, а я таких прав не имею.
Т.е. в этой теме - оставить "сохранность данных КРИТИЧЕСКИ ЖИЗНЕННО важных" - причем в основном на производстве, даже если это фотопроизводство дома или программирование дома на аутсорсе.
И да, слово "информации" убрать, так как вот например на ДВД не прочиталось десяток байт. Для архива бухгалтерии это критически жизненно важно - архив потерян, котастрофа. Но фильм на ДВД - тоже называется информация, а если в процессе просмотра мелькнет пятно из-за потерянной группы пит - да и черт с ним, если потерянных мало - вообще не заметят. Так что именно "Данных", то есть "дата"

Вторая тема - "я хочу" ... нет, не так - "хотелось бы сохранить фотки Я и фонтан подешевле, но если они пропадут и МЫШЪ с ними, платить за восстановление не буду."
А сейчас получается, что человек в этой теме спрашивает про второе, а ему дают советы из области решений первого
А реально разница, как между мышью и горой.

makc123
А что в прошлой теме так и не выяснили, как лучше хранить информацию?
Блюрей диски. Если объемы не большие до терабайта то можно обойтись двд.

Allex
Повышать надежность можно уже потом - когда она уже обеспечена.
Вы себе противоречите
Если три копии уже обеспечивают 100% - а выше где-то вы писали, что надежность - это как триггер, либо есть, либо нет, и три копии с автопроверкой обеспечивают это - тогда о каком "повышении" речь?

И при чем слово "минимально", когда вы же ратуете Осетрины второй свежести не бывает?
Если она всегда первой, куда повышать - в... нулевую?

Григорий-Г
Если три копии уже обеспечивают 100%
Три копии на недолговечных носителях - это тройной геморой и 100% утрата информации как только перестанут обслуживать эти все копии.

YMA
Минимальные требования у каждого свои.

...но для разговора о надежном хранении - есть стандарт.

Григорий-Г
а вроде и ничего не случится, если потеряется.
ну потерял фотку Вася в салате, ну и черт с ним.

Такое хранение к этой теме не относится.

Если три копии уже обеспечивают 100%

Ни в коем случае. Ста процентов не бывает в принципе. Завтра прилетит та вот пакость из "Men in Black", взорвет Солнце, и все данные уничтожатся взрывом.

Стандартные минимальные требования («3-2-1» с регулярным контролем) обеспечивают техническую надежность хранения данных - просто потому, что если хотя бы одно минимальное требование не будет выполнено, то становится возможной ситуация, при которой данные останутся в единственном экземпляре, который умрет при обращении к нему. Но не более того. А дальше - можно уже _повышать_ надежность, подстраховываясь от разнообразных маловероятных катастроф - выносить географически данные в другой город или в другую страну, например...

OFFROAD
Три копии на недолговечных носителях - это тройной геморой и 100% утрата информации как только перестанут обслуживать эти все копии.

Это касается любых носителей независимо от их "долговечности" - да, надежное хранение данных требует регулярного контроля целостности. На любых носителях - внезапно помереть может каждый и в любой произвольный момент времени.

Allex
надежном хранении - есть стандарт.

Ы? Давайте цифирьки и описание процедур... Хотя бы какой интервал контроля должен быть?

А то вот участник один считает, что по его стандарту оптику необходимо раз в год проверять. Неужели он неправ?

YMA
Хотя бы какой интервал контроля должен быть?

В зависимости от характерного "срока хранения" _всех_ носителей, участвующих в процессе.

Например, холодные HDD рекомендуется минимум раз в год включать, чтобы не загустевала жидкость в гидродинамической подвеске - закладываем их контроль два раза в год: пока все будет читаться и проверяться - подшипник покрутится достаточно.

Для флеша стандарт требует хранения три месяца или год в зависимости от температуры? Вот и смотрим, какая температура у нашего флеша и проверяем в два раза чаще.

Условия хранения в облаке требуют заходить в акк каждые 180 дней? Вот и закладываем в шедуллер проверку каждые три месяца...

Ну и так далее.

А то вот участник один считает, что по его стандарту оптику необходимо раз в год проверять. Неужели он неправ?

Так как остальные носители проверяются чаще - то и оптику я бы рекомендовал проверять тоже каждые полгода. Но это, к сожалению, либо практически невыполнимо, либо очень дорого стоит.

OFFROAD
Блюрей диски. Если объемы не большие до терабайта то можно обойтись двд.
А почему не райд + бэкап на hdd/ssd?

Итоги первого этапа экспериментальной проверки теории о безнадёжной ненадёжности RAID-массивов

В период с 23 апреля по 16 августа сего года (с тремя перерывами на профилактику задействованного ПК и обновление Windows) с терабайтного HDD потребительской серии WDC WD10EACS-00ZJB0 было 602 раза (120+150+140+192) прочитано всё его содержимое. Объём прочитанных данных составил около 4.82^10¹⁵ бит (около 602 терабайт, при организации эксперимента было запланировано 600).
Согласно теории о безнадёжной ненадёжности RAID-массивов, за это время из расчёта URE Rate = 10^-15/бит должно было произойти около 4-5 URE, каждая из которых способна развалить RAID-5 при ребилде массива.

Однако, вопреки предсказаниям теории, за всё время эксперимента не было зафиксировано ни одной URE. Вероятность такого исхода, согласно положениям теории о безнадёжной ненадёжности RAID-массивов, составляет 0,81%. Таким образом, результат эксперимента ставит под сомнение предсказательную способность теории о безнадёжной ненадёжности RAID-массивов, согласно которой массивы объёмом уже в несколько десятков терабайт должны практически неизбежно разваливаться при ребилде. Это и неудивительно, поскольку в основополагающем утверждении теории содержится глупая ошибка, которая делает недействительными все дальнейшие "неопровержимые" математические выкладки её адептов.

В начале эксперимента присутствующим адептам теории о безнадёжной ненадёжности RAID-массивов, в частности Allex, было предложено самостоятельно найти эту ошибку. Однако в силу confirmation bias они отказываются это делать, продолжая защищать заведомо несостоятельную теорию. Согласно выбранной ими линии защиты, тестируемый диск, с моего и производителя попустительства, "обо всех ошибках не сообщает" (формулировка не моя, за устранением неоднозначности обращайтесь к автору). И все без малого четыре месяца с тестируемого диска благополучно "читалась лапша", а RAID-массив с его участием всё равно бы развалился при ребилде.

Несмотря на очевидную безосновательность этих утверждений, главный (из присутствующих на данном форуме) защитник теории о безнадёжной ненадёжности RAID-массивов последний месяц-полтора принялся повторять их как душеспасительную мантру (вместо того, напоминаю, чтобы поискать элементарную, уровня студента-первокурсника, ошибку в обосновании применения математического аппарата). Поэтому следующий этап экспериментальной проверки его любимой теории будет посвящён попытке обнаружить пресловутые "невидимые ошибки", для чего содержимое всё того же HDD будет прочитано (если не помешают поломки оборудования) ещё 600 раз, теперь с подсчётом контрольных сумм. Об организации и начале этого этапа сообщу отдельно.

Исправлено: Yellow Horror, 17.08.2024 12:18

Allex
Ста процентов не бывает в принципе.
Тогда вы себе противоречите, говоря Осетрины второй свежести не бывает.
Три копии - 99% надежность.
Третья копия USB Диск - 80% надежность.
Две копии - 70% надежность, если вторая в облаке, 60% если на USB внешнем и 50% надежность, если вторая - такая де флешка (50 на 50 известные )

Добавление от 16.08.2024 14:23:

Allex
Такое хранение к этой теме не относится.
Уже писал - поменяйте название.

Такое хранения ОТНОСИТСЯ к теме Сохранение своей медиа информации (не данных) дома, то есть средней важности.
Вот для предприятия и если дома устроили предприятие - да, не относится.

makc123
А почему не райд + бэкап на hdd/ssd?
Недолговечно, неудобно, безперспективно, еще и дороже впридачу.
RAID на HDD + копия или даже несколько копий еще на HDD/SSD, точно и гарантировано помрут все раньше, чем всего одна копия на BluRay дисках. Все данные будут требовать регулярного обслуживания, проверок тех состояния, контрольных сумм и иногда выходить по очереди из строя что будут требовать замены с вышедшего носителя на новый, и чем больше дублирующий копий тем больше гемороя в обслуживаниия, более того сдохнут и все следующие носители, на которые будет миграция информации чем первоначальная копия на оптике. Оптика лишена всех этих недостатков, даже средние по качеству диск спокойно переживут все остальные связки в нескольких копиях и несколько поколениях впридачу. Несколько копий на недолговечных носителях - это устранения риска мгновенной потери инофрмации, но это никак не устраняет проблему долгосрочного хранения. Многие видеозаписи , старые аналоговые сейчас оцифровываются,по той причине что носитель относительно долговечен лента+аналоговая запись, с деградацией качества но тем не менее носитель достаточно долговечен и именно по этой причине те старые кассеты дождались сегодняшних дней когда их оцифровывают (а часть еще ждет очереди) всего в одной копии. Оптика среднего уровня это примерно раза в два изначально долговечнее(при сопоставимой надежности - поломок, сбоев, глюков не бывает) чем кассеты. Есть еще архивного уровня оптика, чрезвычайно долговечная способная буквально через поколения пронести записанную ифнормацию, точно также как это было со старыми бумажными фотографиями оставшимися у многих не просто от дедов, а даде от прадедов, впринципе ничего не мешает для архива использовать оптику и архивного уровня, если архив не многие терабайты, не сильно она там прямо и дорогая относительго ее возможности пронести информацию сквозь поколения.
PS если так уж нужно использовать для архива регулярный и быстрый доступ, то можно использовать но вместо барахла вот этогого "RAID + бэкап на HDD/SSD" использовать всего один носитель SSD/HDD, но сделать долговечную копию на оптике.

Исправлено: OFFROAD, 16.08.2024 15:01

YMA
Давайте цифирьки и описание процедур
Какие вам цифирки, если даже графики некоторые осилить и описание, почему они вообще снимались в свое время, к сожалению, не могут?

Николай В.
пришли за ними, а вам отвечают
А как быть тем, кому заранее об изменениях сообщили в действующий email или номеру телефона? Так вот. Mega насчет этого и уведомлений постоянно об этом кричит. В прошлом томе об этом говорили
Так что все всегда заранее предупреждают. Другое дело, что вы невнимательны и проигнорировали эти будущие на тот момент изменения. Иначе может быть нарушение закона, кстати. Если не уведомить и не переписать контракт
Так что не надо фантазий

Те, кто меняет правила по ходу игры
Так не еняйте. Там четко были прописаны эти правила. Когда они менялись - об этом трубили при каждом входе, пока не будет ясно понятно, что они прочтены или поняты

Григорий-Г
даже если данные - фото сосед мордой в салате, имеет отношение к бекапу
Еще раз. Таким хватает облачка, создаваемым аппаратом при вводе аккаунта и памяти смартфона. И все это автоматически без участия владельца

Сохранение фото морды в салате требует СРЕДНЕЙ надежности
то есть средней важности
Зачем вы напридумывали дурацких собственных терминов? Фото эти либо нужны позарез, либо "от потерянного кинца ничего не случится". А значит, есть - хорошо, нет - еще лучше
Я теперь понимаю, почему вам PD удобен. Он тоже исключительно со своими терминами работает
Пример. Понятие прокси в видео. И сколько вы упирались и спорили, так как это не входило в ваш мир с этим PD. Я прекрасно помню это А оно оказывается, во всех нормальных приложениях везде так

Понимаете, какое дело... NAS он для дома очень хорош. Так как всякие фильмы, музыку и все это медиа отлично с него передается на ТВ, приставки, фоторамки, колонки итд итп. Если вам удобнее бегать с дисками и флешками к телекам - вавше право! Но таких очень мало. Все стремятся к уюту и удобству
Тем более, сейчас чуть ли не каждый телек оснащен таким функционалом без проводов. На предприятиях мультимедиа передачей навряд ли кто то пользуется. Ну, кроме всяких конференций. Но это другое и отношение к хранению не имеет. А вот хранение мультмедиа, по вашим негласным правилам это ветки - да

Так что либо храним, либо нафинг не нужно

Исправлено: TechStone, 16.08.2024 15:14

OFFROAD
Недолговечно, неудобно, безперспективно, еще и дороже впридачу.
RAID на HDD + копия или даже несколько копий еще на HDD/SSD, точно и гарантировано помрут

На райде используемые мастер-данные, не архив. Архив на внешнем диске. Итого 3 копии.
Для неиндустриального формата - за глаза. Но если хочется ещё одну девяточку в период, то плюс к этому можно и диски добавить