View Full Version : Синхронизация данных
Решил сделать отдельную от "облаков" тему для обсуждения методов и программ синхронизации.
Поделитесь, кто как бэкапит данные и какие подводные камни бывают при синхронизации.
Например, я обнаружил что иногда файлы ломаются при перемещении в новую папку (превышается разрешённая длина названия вместе с длиной пути хранения). То есть они нормально туда переносятся, но потом их оттуда не вынуть.
Я всячески пробовал. Теперь делаю напрямую, на переносной жёсткий диск. То что файлы ломаются, вполне возможно, но проверять времени нет. Последнее время бекапил на домашнее облако, а с него резервную копию делал на жёсткий диск.
Решил сделать отдельную от "облаков" тему для обсуждения методов и программ синхронизации.
Поделитесь, кто как бэкапит данные и какие подводные камни бывают при синхронизации.
Например, я обнаружил что иногда файлы ломаются при перемещении в новую папку (превышается разрешённая длина названия вместе с длиной пути хранения). То есть они нормально туда переносятся, но потом их оттуда не вынуть.
Зависит от данных, которые бекапятся.
В линуксе проблем нет, сделал архив и залил по scp и проч.
Маки тоже отлично бекапятся на OpenMediaVault
На Виндовс использую приложение NextCloud и сервер под столом стоит. Иногда файлы не синхронизируются. Но очень редко.
На Виндовс использую приложение NextCloud и сервер под столом стоит. Иногда файлы не синхронизируются. Но очень редко.
А что делает эта программа, сравнивает? Как выглядит "несинхронизация"?
Для меня главное - избежать размножения одинаковых файлов. Был у меня альбом с фотками машин. Сделал резерв. Альбом продолжил накапливаться и решил я раскидать альбом на несколько тематических папок. Естественно, синхрить уже не получается - надо удалять старый резерв и бекапить новую структуру каталогов.
А иногда и названия файлов меняются... Или содержание обновляется.
Как автоматизировать такие процессы?
Гугл выдаёт статьи 8-летней давности https://3dnews.ru/634640
PS Ещё одна проблема при бекапе - смена даты файла. Если переносить, то сохраняется исходная дата создания, а если копировать, то соответственно дата обновляется. При дальнейшей синхронизации появляются уточнения - какой сохранить новый или старый. При этом старый файл мог быть отредактирован (дата создания одна, а дата изменения другая) :spy:
Вот, нашёл более свежий обзор https://lumpics.ru/programs-for-synchronizing-files-and-folders/
На мой взгляд прога FreeFileSync не плохая "приложение находит переименованные или перенесенные файлы". Но уже очень краткий обзор.
А что делает эта программа, сравнивает? Как выглядит "несинхронизация"?
несинхронизация - это когда сидишь в жопе мира и на медленном интернете пытаешься синхронизировать файлы.
Не всегда получается с первого раза.
Вот, нашёл более свежий обзор https://lumpics.ru/programs-for-synchronizing-files-and-folders/
На мой взгляд прога FreeFileSync не плохая "приложение находит переименованные или перенесенные файлы". Но уже очень краткий обзор.
Надо понимать как надо использовать решение.
Бекап и синхронизация вроде бы похожи, но служат для разного и подход для реализации разный.
Бекап делается для сохранности фалов. Как есть, все файлы и директории. Есть много продуктов для бекапа, от простых (open source) до коммерческих/
Синхронизация - это когда файлы используются одним аккаунтом на разных устройствах или даже разными аккаунтами. Чтобы не плодить 1 000 000 одинаковых файлов, используется одна копия файла и доступ к этому файлу регулируется тем или иным способом.
Какую систему надо построить?
Какой объем фоток? как часто они меняются? Фотки хранятся для просмотра или просто для сохранности?
Бекап 200-300 Гбит файлов на 1Гбит сети идет минут 10.
Может просто сделать галерею фоток на собственном/публично Web сервере и не париться?
Какой объем фоток? как часто они меняются? Фотки хранятся для просмотра или просто для сохранности?
Фотки указал для примера. Данных примерно 6Тб (около 1 млн файлов в 45тыс папок). Но самые объёмные категории (документы, фото, музыка, видео) обновляются ежедневно и не хочется, что бы оригиналами этих файлов пользовались - для этого и делается их бекап. А вот периодически встаёт вопрос синхронизации бекапа, так как повторный полный бекап из разных мест занимает около двух суток.
Данных примерно 6Тб (около 1 млн файлов в 45тыс папок).
Сейчас как это работает?
Как хранятся файлы? Просто на жестком диске без RAID?
Сейчас как это работает?
Как хранятся файлы? Просто на жестком диске без RAID?
О, а, кстати, бывают ли переносные диски-RAID-массивы?
О, а, кстати, бывают ли переносные диски-RAID-массивы?
Их можно носить, они не тяжелые.
https://www.verkkokauppa.com/fi/product/16221/kgtqv/Asustor-AS1002T-v2-verkkolevypalvelin?list=OZCYvl9QKJq5NHW8huNsIiBsla9qb529qbfz9QYM0hOjh1v
Не сильно дороже самосбора на raspberry pI
https://www.elfadistrelec.fi/fi/kaksiytiminen-sata-hat-raspberry-pi-seeed-studio-114992115/p/30172330?channel=b2c&price_gs=44.1068&source=googleps%3Fsource%3Dshoppingads&locale=fi-FI&pup_e=1&pup_cid=36045&pup_id=30172330&utm_source=google&utm_medium=surfaces&utm_campaign=surfaces_across_google_fi&ext_cid=shgooaqfifi-P-Shopping-MainCampaign&gclid=Cj0KCQjw28T8BRDbARIsAEOMBcwIhR94I_tEtDqYUNLO2HScB7vJHVbg7DnNFHIJEzZ1tEsnOWJNSXkaApyBEALw_wcB
Хотя эти решения не совсем мобильные, могут не запуститься в один момент
Сейчас как это работает?
Как хранятся файлы? Просто на жестком диске без RAID?
Да, РЭЙДов нет. Есть пачка дисков, лежащая на полочке (с архивами), есть НАС и системники с оперативкой. При их заполнении подключаю архивы по УСБ и сливаю на них заново. Так как за время оперативной работы файлы пересортировываются и переназываются то в архивах растёт количество дублей.
Да, РЭЙДов нет. Есть пачка дисков, лежащая на полочке (с архивами), есть НАС и системники с оперативкой. При их заполнении подключаю архивы по УСБ и сливаю на них заново. Так как за время оперативной работы файлы пересортировываются и переназываются то в архивах растёт количество дублей.
Asustor и 2 диска по 8Тб решать ваш вопрос. Это порядка 600 EUR. Только если у вас куча свободного времени можно стопку жестких дисков туда сюда гонять. Я бы уже давно запутался.
У HDD самая дешевая стоимость хранения гигабайта и они долговечны.
В свое время я тоже перебрал свои архивы и много чего выкинул. Оставил только нужные файлы. Получилось не так много. Храню на собственном файл сервере.
Asustor и 2 диска по 8Тб решать ваш вопрос. Это порядка 600 EUR. Только если у вас куча свободного времени можно стопку жестких дисков туда сюда гонять. Я бы уже давно запутался.
Ну вот в теме про облака я уже описал железное решение (пока один и на 4ТБ), теперь ищу софтовое, так как времени действительно больше нет и начинаю путаться :) Чистого материала должно получится как раз на 4Тб примерно. Прямо вот чую, что 2Тб уже дублей всяких...
Да все очень просто. Правой кнопкой по диску и затем Format.
Че всякое старье копить то? Я раз в год делаю бэкап на внешний диск, да и все.
Если комп крякнет? Ну крякнет, и что? Все там будем.
Прямо вот чую, что 2Тб уже дублей всяких...
А это уж точно. И даже не дублей, а несколько раз.
Ну вот в теме про облака я уже описал железное решение (пока один и на 4ТБ), теперь ищу софтовое, так как времени действительно больше нет и начинаю путаться :) Чистого материала должно получится как раз на 4Тб примерно. Прямо вот чую, что 2Тб уже дублей всяких...
rm -rf
Если хозяин не знает что за файлы, то в топку. Это мусор.
На всякий случай. У Hetzner есть облачное хранение данных с бекапом. Все данные хранятся в Финляндии.
Выбирайте тариф и пользуйтесь с помесячной оплатой. Никаких своих серверов и облаков не надо строить.
https://www.hetzner.com/storage/storage-box?country=fi
puppetman79
23-10-2020, 01:08
На всякий случай. У Hetzner есть облачное хранение данных с бекапом. Все данные хранятся в Финляндии.
Выбирайте тариф и пользуйтесь с помесячной оплатой. Никаких своих серверов и облаков не надо строить.
в чем особенность хранения данных именно в Фи? Почему не в Америке, России (где может быть дешевле)? если мы не про секретные бизнес данные говорим сейчас, а про обычные домашние архивы. платить 12е в месяц или 20 в год - разница приличная.
в чем особенность хранения данных именно в Фи? Почему не в Америке, России (где может быть дешевле)? если мы не про секретные бизнес данные говорим сейчас, а про обычные домашние архивы. платить 12е в месяц или 20 в год - разница приличная.
Покажите стоимость 20 евро в год. Я сам подпишусь на такой backup :-)
12 евро в месяц - это цена качественного сервиса. Она бьется с ценой аренды сервера с дисками + резервирование + доступность через несколько лет и поддержкой со стороны провайдера.
жесткий диск на 2 ТЬ стоит 80-90 EUR, а надо минимум 2 + компьютер + интернет + обслуживание. Сколько лет вы будете отбивать его стоимость при цене в 20EUR в год?
А это уж точно. И даже не дублей, а несколько раз.
Скажите, а Ваши КАДовские проекты много весят? Приходится хранить разные версии одного проекта? Не праздное любопытство и без подколок. :agree:
У меня большие объёмы из-за того, что работаю с мультимедиа. А теперь ещё все хотят 4К... :skalka:
На мой взгляд прога FreeFileSync не плохая "приложение находит переименованные или перенесенные файлы".
Не подходит в моём случае.
1) Если файлы имеют одинаковое имя, но разное содержание, то просто предлагает заменить старый более новым.
2) Если файлы одинаковые, но под разными именами, то думает, что разные файлы.
3) "Приложение находит переименованные или перенесенные файлы" только в долгосрочной перспективе на основе созданной собственной базы данных.
В общем, программа хороша для ежедневного использования. Чувствую, что придётся опять ручками перебирать всё "бахатство" :spy:
Скажите, а Ваши КАДовские проекты много весят? Приходится хранить разные версии одного проекта? Не праздное любопытство и без подколок. :agree:
У меня большие объёмы из-за того, что работаю с мультимедиа. А теперь ещё все хотят 4К... :skalka:
Вам нужна система управления версиями (версионинг файлов)
поддерживается например в opensource NextCloud.
[russian.fi, 2002-2014]