fssync — online w chmurze

PROGRAM:

IMIĘ

fssync — narzędzie do synchronizacji systemu plików (1-kierunkowa, przez SSH)

STRESZCZENIE

fssync -d db -r korzeń [opcja...] gospodarz

OPIS

fssync to jednokierunkowe narzędzie do synchronizacji plików, które śledzi i-węzły i utrzymuje lokalne
baza plików znajdujących się po stronie zdalnej, dzięki czemu jest w stanie:

· sprawnie obsłużyć ogromną liczbę katalogów/plików

· wykrywanie zmian nazw/ruchów i twardych linków

Ma na celu zminimalizowanie ruchu sieciowego i synchronizację każdego szczegółu systemu plików:

· wszystkie typy i-węzłów: plik, katalog, blok/znak/fifo, gniazdo, dowiązanie symboliczne

· zachowaj twarde linki

· czas modyfikacji, własność/uprawnienia/ACL, rozszerzone atrybuty

· rzadkie pliki

Inne funkcje:

· możliwość skonfigurowania wykluczania plików z synchronizacji

· fssync można przerwać i wznowić w dowolnym momencie, dzięki czemu jest odporny na przypadkowe awarie
(np. błąd sieci)

· algorytm synchronizacji zawartości plików jest zaprojektowany do obsługi dużych plików, takich jak obrazy VM
wydajnie, aktualizując zmodyfikowane bloki o stałym rozmiarze na miejscu

Głównym zastosowaniem fssync jest zapobieganie utracie danych w przypadku awarii sprzętu, gdzie jest RAID1
niemożliwe (np. w laptopach).

On Btrfs [1] systemów plików, fssync jest użyteczną alternatywą dla btrfs wysłać (I otrzymać)
poleceń, dzięki możliwościom filtrowania. Można to połączyć z migawką Btrfs
po stronie docelowej, aby uzyskać pełne rozwiązanie do tworzenia kopii zapasowych.

ZASTOSOWANIE

Zastosowanie fssync --help aby uzyskać pełną listę opcji.

Najważniejszą rzeczą do zapamiętania jest to, że lokalna baza danych musi dokładnie odpowiadać temu, co
na hoście docelowym:

· Pliki kopiowane na host docelowy nie mogą być modyfikowane. I nic nie powinno
być ręcznie tworzone w katalogach docelowych. Jeśli nadal chcesz uzyskać dostęp do danych na
zdalny host, powinieneś to zrobić za pomocą montowań tylko do odczytu (wymaga Linuksa >=
2.6.26).

· Musisz mieć 1 bazę danych na miejsce docelowe, jeśli planujesz mieć kilka kopii tej samej
katalog źródłowy.

Spójrz na -c opcja, jeśli zastanawiasz się, czy Twoja baza danych pasuje do katalogu docelowego.

Pierwsze uruchomienie fssync:

· Najprostszym sposobem jest pozwolenie fssync na zrobienie wszystkiego. Podaj nieistniejącą ścieżkę do pliku, aby -d
opcję i pusty lub nieistniejący katalog docelowy (zobacz -R opcja). fssync będzie
automatycznie tworzy bazę danych i kopiuje wszystkie katalogi/pliki na zdalny host.

· Szybszym sposobem może być wykonanie początkowej kopii innymi sposobami, jak surowa kopia
przegroda. Jeśli masz absolutną pewność, że źródło i miejsce docelowe są dokładnie takie same,
możesz zainicjować bazę danych, określając - jako gospodarz. Jeśli numery i-węzłów są takie same
po obu stronach, co ma miejsce, gdy dane zostały skopiowane na poziomie bloku, można modyfikować
partycja źródłowa podczas inicjowania bazy danych na partycji docelowej i wróć
DB lokalnie.

Przykład wrappera wokół fssync z filtrem można znaleźć pod adresem przykłady/fssync_home

fssync nigdy nie schodzi do katalogów na innych systemach plików. I-węzły zamaskowane przez punkty montowania
są również pomijane, więc należy je tymczasowo odmontować, jeśli chcesz, aby były
zsynchronizowane. Ten sam wynik można osiągnąć, synchronizując z montowaniem powiązania.

Zobacz też BRAK szyfr przełączania [2] patch jeśli nie potrzebujesz szyfrowania a chcesz
przyspieszyć połączenie SSH.

JAK IT DZIAŁA

fssync utrzymuje pojedynczą tabelę SQLite zawierającą wszystkie katalogi/pliki znajdujące się po stronie zdalnej. Każdy
wiersz pasuje do ścieżki, z jej i-węzłem (po stronie lokalnej), innymi metadanymi (po stronie zdalnej) i a
w kratę flag.

Podczas działania fssync iteruje rekursywnie przez wszystkie lokalne katalogi/pliki i dla każdej ścieżki
to nie jest ignorowane (patrz -f opcja), wysyła zapytanie do bazy danych, aby zdecydować, co zrobić. Jeśli już
w kratę, ścieżka jest natychmiast pomijana. Kiedy ścieżka jest zsynchronizowana, jest oznaczona jako
w kratę. Na koniec wszystkie rzędy, które nie są w kratę odpowiada ścieżkom, które nie istnieją
nie więcej. Gdy zostaną usunięte po stronie zdalnej, wszystkie w kratę flagi są resetowane.

Brak tolerancja
W rzeczywistości fssync nie wymaga, aby baza danych idealnie pasowała do miejsca docelowego. Ono
toleruje pewne różnice w celu odzyskania przerwanej synchronizacji spowodowanej przez
awaria sieci, błąd operacji na pliku lub cokolwiek innego niż awaria systemu operacyjnego
lokalnego hosta (lub coś podobnego, jak awaria zasilania).

W większości przypadków robi to zdalny host, który automatycznie tworzy (lub nadpisuje)
w razie potrzeby i-węzeł oczekiwanego typu. Jedynym wyjątkiem jest to, że pilot będzie
nigdy nie usuwaj samodzielnie niepustego katalogu. W większości złożonych przypadków fssync prowadzi dzienniki
operacja w bazie danych: w przypadku awarii fssync będzie mógł odzyskać w następnym
synchronizacja

Wyścig Warunki
Sytuacja wyścigu oznacza, że ​​inne procesy na hoście lokalnym modyfikują i-węzły, które:
fssync synchronizuje. fssync obsługuje każdy rodzaj wyścigu. W rzeczywistości fssync ma
nic do zrobienia w większości przypadków.

Gdy wystąpi sytuacja wyścigu, fssync nie gwarantuje, że zdalne dane są w
stan spójny. Każda synchronizacja zawsze naprawia istniejące niespójności, ale może wprowadzać
inne, więc fssync nie nadaje się do tworzenia kopii zapasowych baz danych na gorąco.

Dzięki Btrfs możesz uzyskać spójność, wykonując migawkę po stronie źródła.

PODOBNY projektów

Pomysł na prowadzenie lokalnej bazy danych w rzeczywistości pochodzi z csync2 [3]. miałem zamiar
zaadoptuj go, gdy zdałem sobie sprawę, że naprawdę potrzebuję narzędzia, które zawsze wykrywa zmiany nazwy/ruchy
duże pliki. Dlatego postrzegam fssync jako częściowe przepisanie csync2, ze śledzeniem i-węzłów i
bez synchronizacji dwukierunkowej. Lokalna baza danych naprawdę sprawia, że ​​fssync i csync2
szybciej niż dobrze znane rsync [4].

Korzystaj z fssync online za pomocą usług onworks.net