нетехник: Ускорить копирование кучи мелких файлов.
нетехник
Junior Member
Автор темы
3/7 ответов
3 года на iXBT, с ноября 2021
Инфо Ответить
н
нетехник Junior MemberАвтор темы
3 года назад / 09 ноября 2021 07:06
Размышляю, имеет ли смысл фотоархив примерно на 500 гб состоящий из папок с мелкими файлами заархивировать каким-нибудь
архиватором чтобы был огромный файл который будет вероятно намного быстрее копироваться на внешние диски?
Но вроде бы и риски вырастут что из-за сбоя пары байтов на диске окажется битым весь архив?
Akina
Member
3194/26723 ответов, #9 в рейтинге
25 лет на iXBT, с октября 1999
Чаще пишет в "OС и сист. ПО" (16%)
Россия, Зеленоград (Москва)
Инфо Ответить
A
Akina Member
3 года назад / 09 ноября 2021 07:33
нетехник

имеет ли смысл фотоархив примерно на 500 гб состоящий из папок с мелкими файлами заархивировать каким-нибудь
архиватором чтобы был огромный файл который будет вероятно намного быстрее копироваться на внешние диски?


Типичный размер фотографии - 3 метра. При таком среднем размере - смысла нет.

риски вырастут что из-за сбоя пары байтов на диске окажется битым весь архив

WinRAR умеет создавать дополнительный блок данных, который при минорных повреждениях позволяет полностью восстановить данные. И он не один такой... есть и отдельные программы с таким функционалом.
TRaMeLL
Member
45/229 ответов, #15 в рейтинге
14 лет на iXBT, с июля 2010
Чаще пишет в "OС и сист. ПО" (40%)
Россия, Усть-Илимск
Инфо Ответить
TRaMeLL Member
3 года назад / 09 ноября 2021 08:58
Смысл есть. Данные для восстановления рекомендую делать ЭТИМ
~wildwind~
Member
1899/9258 ответов
20 лет на iXBT, с февраля 2004
Чаще пишет в "OС и сист. ПО" (26%)
Россия, РњРѕСЃРєРІР°
Инфо Ответить
w
~wildwind~ Member
3 года назад / 09 ноября 2021 12:51
нетехник
Конечная цель-то какая? Ускорить регулярное резервное копирование? Ускорить разовое копирование?
vertur
Member
408/9590 ответов, #11 в рейтинге
16 лет на iXBT, с марта 2008
Чаще пишет в "Программирование" (52%)
Гондурас, default city
Инфо Ответить
v
vertur Member
3 года назад / 09 ноября 2021 13:08
нетехник

имеет ли смысл фотоархив примерно на 500 гб состоящий из папок с мелкими файлами заархивировать каким-нибудь
архиватором
Если смотреть с точки зрения сжатия - то смысла нет, результирующий файл будет иметь бОльший размер чем сумма размеров фотофайлов ибо фотофайлы уже сжаты.

Поэтому надо не архивировать а тарить (см tar).

При этом есть подводные камни - некоторые файловые системы имеют ограничение на размер файла (4Гб для FAT),
либо некоторые архиваторы имеют ограничение на размер тома архива (например, zip - 2Гб).
нетехник
Junior Member
Автор темы
4/9 ответов
3 года на iXBT, с ноября 2021
Инфо Ответить
н
нетехник Junior MemberАвтор темы
3 года назад / 12 ноября 2021 14:37
~wildwind~
нетехник
Конечная цель-то какая? Ускорить регулярное резервное копирование? Ускорить разовое копирование?


Я читал что скорость копирования больших файлов на внешний диск в разы выше чем кучи мелких, копировать буду через юсб3
на винт с черепичной записью если что.Так что да, ускорить запись хочу намного.
~wildwind~
Member
1902/9272 ответов
20 лет на iXBT, с февраля 2004
Чаще пишет в "OС и сист. ПО" (26%)
Россия, РњРѕСЃРєРІР°
Инфо Ответить
w
~wildwind~ Member
3 года назад / 12 ноября 2021 14:49
нетехник
На мой вопрос вы так и не ответили. Регулярно или разово?

Если сначала создавать большой архив, а потом его копировать, выигрыша имхо не будет. Хотя может и быть, но не большой. Есть смысл архивировать сразу на внешний диск, тогда выигрыш будет заметным. Если только скорость не будет ограничена случайным чтением исходных файлов.

Если хотите радикально ускорить, нужно регулярно делать инкрементные бэкапы.
нетехник
Junior Member
Автор темы
5/10 ответов
3 года на iXBT, с ноября 2021
Инфо Ответить
н
нетехник Junior MemberАвтор темы
3 года назад / 13 ноября 2021 20:26
Регулярно.Наверное надо лучше освоить инкрементные бэкапы и проверку сохранности давно записанных фото с помощью программ вычисления контрольной суммы.
Вместо того чтобы переписывать огромный объем полностью.Когда несколько раз лазил по папкам и что-то менял,потом уже трудно вспомнить что и где,
и просто весь объем с диска-источника на бэкаповский переписываю.Но в этом может быть и плюс, т.к. более свежая запись на блинах диска дольше сохранится, и каждая запись всего объема это проверка диска, он во время этого может заметить проблемы и отразить их в смарте?
Yatagan
Member
23/8866 ответов, #18 в рейтинге
13 лет на iXBT, с июня 2011
Чаще пишет в "Накопители" (70%)
Россия, 🇷🇺
Инфо Ответить
Y
Yatagan Member
3 года назад / 14 ноября 2021 11:45
нетехник
Когда несколько раз лазил по папкам и что-то менял,потом уже трудно вспомнить что и где,
и просто весь объем с диска-источника на бэкаповский переписываю.


Раз уж так делаете, то можно держать свои файлы на виртуальном диске VHD и периодически его копировать (сам файл VHD) на внешний диск с заменой.
Один файл через USB гораздо быстрей скопируется, чем куча мелких. Разумеется, если на внешнем диске будет файловая система FAT 32, то имейте ввиду, что она не поддерживает размер файла более 4 ГБ. Тогда меняйте файловую систему на внешнем диске или флешке, или что у вас там...

Создать VHD
Подключение/Отключение VHD через контекстное меню

он во время этого может заметить проблемы и отразить их в смарте?

Для постоянного контроля за смартом есть специальный софт, который следит за здоровьем всех дисков на компьютере и сигналит в случае проблем.
Всем хорош, но не даёт дискам засыпать, периодически запрашивая состояние смарт. Если у вас много дисков и какие-то настроены на уход в сон, то такая программка не даст им заснуть.
Я уже давно пользуюсь SMART Vision от Аси. Рекомендую.
Значок в трее настройте всегда видимым, в случае чего начнёт мигать, тогда двоной клик по нему и смотрите что там изменилось в смарте.
Igor72
Member
202/33679 ответов
22 года на iXBT, с июня 2002
Чаще пишет в "Флейм" (41%)
Россия, Мск
Инфо Ответить
Igor72 Member
3 года назад / 14 ноября 2021 15:52
нетехник
Вместо того чтобы переписывать огромный объем полностью.Когда несколько раз лазил по папкам и что-то менял,потом уже трудно вспомнить что и где,
и просто весь объем с диска-источника на бэкаповский переписываю.

Для того существуют программы синхронизации, сравнивающие разные директории, FreeFileSynс, например
~wildwind~
Member
1903/9276 ответов
20 лет на iXBT, с февраля 2004
Чаще пишет в "OС и сист. ПО" (26%)
Россия, РњРѕСЃРєРІР°
Инфо Ответить
w
~wildwind~ Member
3 года назад / 14 ноября 2021 16:52
нетехник
более свежая запись на блинах диска дольше сохранится, и каждая запись всего объема это проверка диска, он во время этого может заметить проблемы и отразить их в смарте?
Есть такой момент. Кстати, то же касается и диска, где лежат исходные файлы.
нетехник
Junior Member
Автор темы
6/18 ответов
3 года на iXBT, с ноября 2021
Инфо Ответить
н
нетехник Junior MemberАвтор темы
3 года назад / 07 февраля 2022 16:15
~wildwind~
Кстати, то же касается и диска, где лежат исходные файлы.

Точно, я как-то упустил это.А раз в сколько лет хорошо бы переписывать?
LuchS
Member
14/657 ответов
6 лет на iXBT, с января 2019
Чаще пишет в "Ноутбуки" (48%)
Инфо Ответить
L
LuchS Member
3 года назад / 08 февраля 2022 14:39
нетехник
Если нет предубеждений и проблем со свободным местом, то тупо делается средствами винды, при условии использования в винде, виртуального жесткого диска, который подключается через "управление дисками" или даже из проводника по правой кнопке мыши - *.vhd/*.vhdx, при этом на сам диск тут же настроить восстановление, теневую копию... Опять же на диске где хранится файл с виртуальным жестким диском его так же можно будет бэкапить, а т.ч. и через теневые копии.
Ваш ответ:

Нет значка Нет значка Вот тут! Лампочка Восклицание Вопрос Класс! Улыбка Злость Огорчение Поговорим? Краснею Подмигивание Ругаю ОдобряюBIUdelSxsupxsuboffsp spoilerqurlimgvideo• list1. list1 codeprecenter-hr-rusQWE→ЙЦУ
файлыочистить
Ваше имя: Авторизуйтесь Предпросмотр В полную форму
вставить выделенную цитату в окно ответа
Если Вы считаете это сообщение ценным для дискуссии (не обязательно с ним соглашаться), Вы можете поблагодарить его автора, а также перечислить ему на счет некоторую сумму со своего баланса (при отзыве благодарности перечисленная сумма не будет вам возвращена).
Также вы можете оценить сообщение как неудачное.
В течение суток можно 20 раз оценить сообщения разных участников (купите Premium-аккаунт, либо оплачивайте оценки сверх лимита).
Если Вы считаете это сообщение ценным для дискуссии (не обязательно с ним соглашаться), Вы можете поблагодарить его автора, а также перечислить ему на счет некоторую сумму со своего баланса (при отзыве благодарности перечисленная сумма не будет вам возвращена).
Также вы можете оценить сообщение как неудачное.
В течение суток можно 20 раз оценить сообщения разных участников (купите Premium-аккаунт, либо оплачивайте оценки сверх лимита).
09:33Астрономы обнаружили пару раскалённых субнептунов втрое больше Земли у звезды TOI-6054
09:25Космическое щебетание: хоровые волны зафиксированы на рекордном расстоянии от Земли
08:56Вместо Toyota Ralink и Toyota Corolla, Toyota Camry и Toyota Avalon оставят по одной модели. Toyota оптимизирует модельный ряд в Китае
08:37Так какие же машины безопаснее: с ДВС или на электротяге? Огромный тест ANCAP показал неожиданный результат
08:03Nissan возвращается. Представлен 5-метровый премиальный седан Nissan N7
07:46Южнокорейский кроссовер на базе Kia Rio в богатой комплектации за 1,65 млн рублей. В России дешевеет Kia KX1
23:25вчераNvidia есть, что скрывать о GeForce RTX 5090? У новой видеокарты нет датчика для указания температуры самой горячей точки GPU
23:16вчераХватит ли для GeForce RTX 5090 шины PCIe 4.0 или PCIe 3.0? Тесты показывают, с какой версии интерфейса начинается заметное падение производительности
23:01вчераДумаете, 32 ГБ памяти у GeForce RTX 5090 — это много? Nvidia готовит видеокарту с 96 ГБ памяти
22:48вчераGeForce RTX 5090 нужно было называть RTX 4090 Ti? Обзоры показывают, что карта очень мощная, но прирост кажется небольшим на фоне энергопотребления и смены поколения