|
21-10-2020, 16:48
|
#1
|
пенсионер
Сообщений: 12,577
Проживание: osoitteeni on NEUVOSTOMAA
Регистрация: 20-12-2008
Status: Offline
|
Синхронизация данных
Решил сделать отдельную от "облаков" тему для обсуждения методов и программ синхронизации.
Поделитесь, кто как бэкапит данные и какие подводные камни бывают при синхронизации.
Например, я обнаружил что иногда файлы ломаются при перемещении в новую папку (превышается разрешённая длина названия вместе с длиной пути хранения). То есть они нормально туда переносятся, но потом их оттуда не вынуть.
-----------------
"Представьте себе, какая была бы тишина, если бы люди говорили только то, что знают". Карел Чапек
|
|
|
21-10-2020, 17:50
|
#2
|
Пользователь
Сообщений: 969
Проживание:
Регистрация: 20-02-2015
Status: Offline
|
Я всячески пробовал. Теперь делаю напрямую, на переносной жёсткий диск. То что файлы ломаются, вполне возможно, но проверять времени нет. Последнее время бекапил на домашнее облако, а с него резервную копию делал на жёсткий диск.
|
|
|
21-10-2020, 18:54
|
#3
|
Пользователь
Сообщений: 2,899
Проживание:
Регистрация: 07-07-2003
Status: Offline
|
Цитата:
Сообщение от ID
Решил сделать отдельную от "облаков" тему для обсуждения методов и программ синхронизации.
Поделитесь, кто как бэкапит данные и какие подводные камни бывают при синхронизации.
Например, я обнаружил что иногда файлы ломаются при перемещении в новую папку (превышается разрешённая длина названия вместе с длиной пути хранения). То есть они нормально туда переносятся, но потом их оттуда не вынуть.
|
Зависит от данных, которые бекапятся.
В линуксе проблем нет, сделал архив и залил по scp и проч.
Маки тоже отлично бекапятся на OpenMediaVault
На Виндовс использую приложение NextCloud и сервер под столом стоит. Иногда файлы не синхронизируются. Но очень редко.
|
|
|
21-10-2020, 23:47
|
#4
|
пенсионер
Сообщений: 12,577
Проживание: osoitteeni on NEUVOSTOMAA
Регистрация: 20-12-2008
Status: Offline
|
Цитата:
Сообщение от Это я
На Виндовс использую приложение NextCloud и сервер под столом стоит. Иногда файлы не синхронизируются. Но очень редко.
|
А что делает эта программа, сравнивает? Как выглядит "несинхронизация"?
Для меня главное - избежать размножения одинаковых файлов. Был у меня альбом с фотками машин. Сделал резерв. Альбом продолжил накапливаться и решил я раскидать альбом на несколько тематических папок. Естественно, синхрить уже не получается - надо удалять старый резерв и бекапить новую структуру каталогов.
А иногда и названия файлов меняются... Или содержание обновляется.
Как автоматизировать такие процессы?
Гугл выдаёт статьи 8-летней давности https://3dnews.ru/634640
PS Ещё одна проблема при бекапе - смена даты файла. Если переносить, то сохраняется исходная дата создания, а если копировать, то соответственно дата обновляется. При дальнейшей синхронизации появляются уточнения - какой сохранить новый или старый. При этом старый файл мог быть отредактирован (дата создания одна, а дата изменения другая)
-----------------
"Представьте себе, какая была бы тишина, если бы люди говорили только то, что знают". Карел Чапек
|
|
|
22-10-2020, 09:29
|
#5
|
пенсионер
Сообщений: 12,577
Проживание: osoitteeni on NEUVOSTOMAA
Регистрация: 20-12-2008
Status: Offline
|
-----------------
"Представьте себе, какая была бы тишина, если бы люди говорили только то, что знают". Карел Чапек
|
|
|
22-10-2020, 09:35
|
#6
|
Пользователь
Сообщений: 2,899
Проживание:
Регистрация: 07-07-2003
Status: Offline
|
Цитата:
Сообщение от ID
А что делает эта программа, сравнивает? Как выглядит "несинхронизация"?
|
несинхронизация - это когда сидишь в жопе мира и на медленном интернете пытаешься синхронизировать файлы.
Не всегда получается с первого раза.
|
|
|
22-10-2020, 09:43
|
#7
|
Пользователь
Сообщений: 2,899
Проживание:
Регистрация: 07-07-2003
Status: Offline
|
Надо понимать как надо использовать решение.
Бекап и синхронизация вроде бы похожи, но служат для разного и подход для реализации разный.
Бекап делается для сохранности фалов. Как есть, все файлы и директории. Есть много продуктов для бекапа, от простых (open source) до коммерческих/
Синхронизация - это когда файлы используются одним аккаунтом на разных устройствах или даже разными аккаунтами. Чтобы не плодить 1 000 000 одинаковых файлов, используется одна копия файла и доступ к этому файлу регулируется тем или иным способом.
Какую систему надо построить?
Какой объем фоток? как часто они меняются? Фотки хранятся для просмотра или просто для сохранности?
Бекап 200-300 Гбит файлов на 1Гбит сети идет минут 10.
Может просто сделать галерею фоток на собственном/публично Web сервере и не париться?
|
|
|
22-10-2020, 10:52
|
#8
|
пенсионер
Сообщений: 12,577
Проживание: osoitteeni on NEUVOSTOMAA
Регистрация: 20-12-2008
Status: Offline
|
Цитата:
Сообщение от Это я
Какой объем фоток? как часто они меняются? Фотки хранятся для просмотра или просто для сохранности?
|
Фотки указал для примера. Данных примерно 6Тб (около 1 млн файлов в 45тыс папок). Но самые объёмные категории (документы, фото, музыка, видео) обновляются ежедневно и не хочется, что бы оригиналами этих файлов пользовались - для этого и делается их бекап. А вот периодически встаёт вопрос синхронизации бекапа, так как повторный полный бекап из разных мест занимает около двух суток.
-----------------
"Представьте себе, какая была бы тишина, если бы люди говорили только то, что знают". Карел Чапек
|
|
|
22-10-2020, 13:06
|
#9
|
Пользователь
Сообщений: 2,899
Проживание:
Регистрация: 07-07-2003
Status: Offline
|
Цитата:
Сообщение от ID
Данных примерно 6Тб (около 1 млн файлов в 45тыс папок).
|
Сейчас как это работает?
Как хранятся файлы? Просто на жестком диске без RAID?
|
|
|
22-10-2020, 13:10
|
#10
|
Пользователь
Сообщений: 2,851
Проживание:
Регистрация: 23-02-2015
Status: Offline
|
Цитата:
Сообщение от Это я
Сейчас как это работает?
Как хранятся файлы? Просто на жестком диске без RAID?
|
О, а, кстати, бывают ли переносные диски-RAID-массивы?
|
|
|
22-10-2020, 14:29
|
#11
|
Пользователь
Сообщений: 2,899
Проживание:
Регистрация: 07-07-2003
Status: Offline
|
|
|
|
22-10-2020, 14:47
|
#12
|
пенсионер
Сообщений: 12,577
Проживание: osoitteeni on NEUVOSTOMAA
Регистрация: 20-12-2008
Status: Offline
|
Цитата:
Сообщение от Это я
Сейчас как это работает?
Как хранятся файлы? Просто на жестком диске без RAID?
|
Да, РЭЙДов нет. Есть пачка дисков, лежащая на полочке (с архивами), есть НАС и системники с оперативкой. При их заполнении подключаю архивы по УСБ и сливаю на них заново. Так как за время оперативной работы файлы пересортировываются и переназываются то в архивах растёт количество дублей.
-----------------
"Представьте себе, какая была бы тишина, если бы люди говорили только то, что знают". Карел Чапек
|
|
|
22-10-2020, 15:29
|
#13
|
Пользователь
Сообщений: 2,899
Проживание:
Регистрация: 07-07-2003
Status: Offline
|
Цитата:
Сообщение от ID
Да, РЭЙДов нет. Есть пачка дисков, лежащая на полочке (с архивами), есть НАС и системники с оперативкой. При их заполнении подключаю архивы по УСБ и сливаю на них заново. Так как за время оперативной работы файлы пересортировываются и переназываются то в архивах растёт количество дублей.
|
Asustor и 2 диска по 8Тб решать ваш вопрос. Это порядка 600 EUR. Только если у вас куча свободного времени можно стопку жестких дисков туда сюда гонять. Я бы уже давно запутался.
У HDD самая дешевая стоимость хранения гигабайта и они долговечны.
В свое время я тоже перебрал свои архивы и много чего выкинул. Оставил только нужные файлы. Получилось не так много. Храню на собственном файл сервере.
|
|
|
22-10-2020, 17:08
|
#14
|
пенсионер
Сообщений: 12,577
Проживание: osoitteeni on NEUVOSTOMAA
Регистрация: 20-12-2008
Status: Offline
|
Цитата:
Сообщение от Это я
Asustor и 2 диска по 8Тб решать ваш вопрос. Это порядка 600 EUR. Только если у вас куча свободного времени можно стопку жестких дисков туда сюда гонять. Я бы уже давно запутался.
|
Ну вот в теме про облака я уже описал железное решение (пока один и на 4ТБ), теперь ищу софтовое, так как времени действительно больше нет и начинаю путаться Чистого материала должно получится как раз на 4Тб примерно. Прямо вот чую, что 2Тб уже дублей всяких...
-----------------
"Представьте себе, какая была бы тишина, если бы люди говорили только то, что знают". Карел Чапек
|
|
|
22-10-2020, 17:47
|
#15
|
Кіт Кiтофєїч
Сообщений: 16,344
Проживание:
Регистрация: 13-02-2008
Status: Offline
|
Да все очень просто. Правой кнопкой по диску и затем Format.
Че всякое старье копить то? Я раз в год делаю бэкап на внешний диск, да и все.
Если комп крякнет? Ну крякнет, и что? Все там будем.
Цитата:
Сообщение от ID
Прямо вот чую, что 2Тб уже дублей всяких...
|
А это уж точно. И даже не дублей, а несколько раз.
|
|
|
22-10-2020, 17:56
|
#16
|
Пользователь
Сообщений: 2,899
Проживание:
Регистрация: 07-07-2003
Status: Offline
|
Цитата:
Сообщение от ID
Ну вот в теме про облака я уже описал железное решение (пока один и на 4ТБ), теперь ищу софтовое, так как времени действительно больше нет и начинаю путаться Чистого материала должно получится как раз на 4Тб примерно. Прямо вот чую, что 2Тб уже дублей всяких...
|
rm -rf
Если хозяин не знает что за файлы, то в топку. Это мусор.
На всякий случай. У Hetzner есть облачное хранение данных с бекапом. Все данные хранятся в Финляндии.
Выбирайте тариф и пользуйтесь с помесячной оплатой. Никаких своих серверов и облаков не надо строить.
https://www.hetzner.com/storage/storage-box?country=fi
Последнее редактирование от Это я : 22-10-2020 в 19:31.
|
|
|
23-10-2020, 00:08
|
#17
|
Пользователь
Сообщений: 3,741
Проживание: Kuopio
Регистрация: 24-08-2013
Status: Offline
|
Цитата:
Сообщение от Это я
На всякий случай. У Hetzner есть облачное хранение данных с бекапом. Все данные хранятся в Финляндии.
Выбирайте тариф и пользуйтесь с помесячной оплатой. Никаких своих серверов и облаков не надо строить.
|
в чем особенность хранения данных именно в Фи? Почему не в Америке, России (где может быть дешевле)? если мы не про секретные бизнес данные говорим сейчас, а про обычные домашние архивы. платить 12е в месяц или 20 в год - разница приличная.
|
|
|
23-10-2020, 09:22
|
#18
|
Пользователь
Сообщений: 2,899
Проживание:
Регистрация: 07-07-2003
Status: Offline
|
Цитата:
Сообщение от puppetman79
в чем особенность хранения данных именно в Фи? Почему не в Америке, России (где может быть дешевле)? если мы не про секретные бизнес данные говорим сейчас, а про обычные домашние архивы. платить 12е в месяц или 20 в год - разница приличная.
|
Покажите стоимость 20 евро в год. Я сам подпишусь на такой backup :-)
12 евро в месяц - это цена качественного сервиса. Она бьется с ценой аренды сервера с дисками + резервирование + доступность через несколько лет и поддержкой со стороны провайдера.
жесткий диск на 2 ТЬ стоит 80-90 EUR, а надо минимум 2 + компьютер + интернет + обслуживание. Сколько лет вы будете отбивать его стоимость при цене в 20EUR в год?
|
|
|
23-10-2020, 21:50
|
#19
|
пенсионер
Сообщений: 12,577
Проживание: osoitteeni on NEUVOSTOMAA
Регистрация: 20-12-2008
Status: Offline
|
Цитата:
Сообщение от Vnik
А это уж точно. И даже не дублей, а несколько раз.
|
Скажите, а Ваши КАДовские проекты много весят? Приходится хранить разные версии одного проекта? Не праздное любопытство и без подколок.
У меня большие объёмы из-за того, что работаю с мультимедиа. А теперь ещё все хотят 4К...
-----------------
"Представьте себе, какая была бы тишина, если бы люди говорили только то, что знают". Карел Чапек
|
|
|
23-10-2020, 21:58
|
#20
|
пенсионер
Сообщений: 12,577
Проживание: osoitteeni on NEUVOSTOMAA
Регистрация: 20-12-2008
Status: Offline
|
Цитата:
Сообщение от ID
На мой взгляд прога FreeFileSync не плохая "приложение находит переименованные или перенесенные файлы".
|
Не подходит в моём случае.
1) Если файлы имеют одинаковое имя, но разное содержание, то просто предлагает заменить старый более новым.
2) Если файлы одинаковые, но под разными именами, то думает, что разные файлы.
3) "Приложение находит переименованные или перенесенные файлы" только в долгосрочной перспективе на основе созданной собственной базы данных.
В общем, программа хороша для ежедневного использования. Чувствую, что придётся опять ручками перебирать всё "бахатство"
-----------------
"Представьте себе, какая была бы тишина, если бы люди говорили только то, что знают". Карел Чапек
|
|
|
23-10-2020, 23:25
|
#21
|
Пользователь
Сообщений: 2,899
Проживание:
Регистрация: 07-07-2003
Status: Offline
|
Цитата:
Сообщение от ID
Скажите, а Ваши КАДовские проекты много весят? Приходится хранить разные версии одного проекта? Не праздное любопытство и без подколок.
У меня большие объёмы из-за того, что работаю с мультимедиа. А теперь ещё все хотят 4К...
|
Вам нужна система управления версиями (версионинг файлов)
поддерживается например в opensource NextCloud.
|
|
|
Опции темы |
Поиск в этой теме |
|
|
Опции просмотра |
Оценка этой теме |
Линейный вид
|
|
Ваши права в разделе
|
Вы не можете создавать темы
Вы не можете отвечать на сообщения
Вы не можете прикреплять файлы
Вы не можете редактировать сообщения
HTML код Выкл.
|
|
|
|
|
|