fssync – Online in der Cloud

PROGRAMM:

NAME/FUNKTION

fssync – Dateisystem-Synchronisierungstool (einseitig, über SSH)

ZUSAMMENFASSUNG

fssync -d db -r Wurzel [zu erhalten...] Gastgeber

BESCHREIBUNG

fssync ist ein unidirektionales Dateisynchronisierungstool, das Inodes verfolgt und einen lokalen verwaltet
Datenbank mit Dateien, die sich auf der Remote-Seite befinden, wodurch Folgendes möglich ist:

· Effiziente Handhabung einer großen Anzahl von Verzeichnissen/Dateien

· Umbenennungen/Verschiebungen und Hardlinks erkennen

Ziel ist es, den Netzwerkverkehr zu minimieren und jedes Detail eines Dateisystems zu synchronisieren:

· alle Arten von Inodes: Datei, Verzeichnis, Block/Zeichen/Fifo, Socket, Symlink

· Hardlinks bewahren

· Änderungszeit, Besitz/Berechtigung/ACL, erweiterte Attribute

· spärliche Dateien

Andere Eigenschaften:

· Es kann so konfiguriert werden, dass Dateien von der Synchronisierung ausgeschlossen werden

· fssync kann jederzeit unterbrochen und wieder aufgenommen werden, wodurch es tolerant gegenüber zufälligen Ausfällen ist
(z. B. Netzwerkfehler)

· Der Algorithmus zum Synchronisieren von Dateiinhalten ist für die Verarbeitung großer Dateien wie VM-Bilder konzipiert
effizient, indem geänderte Blöcke mit fester Größe direkt aktualisiert werden

Der Hauptzweck von fssync besteht darin, Datenverlust im Falle eines Hardwarefehlers zu verhindern, bei dem sich RAID1 befindet
nicht möglich (z. B. bei Laptops).

On Btrfs [1] Dateisysteme, fssync ist eine nützliche Alternative zu btrfs senden (und erhalten)
Befehle dank Filterfunktionen. Dies kann mit Btrfs-Snapshotting kombiniert werden
auf der Zielseite für eine vollständige Backup-Lösung.

ANWENDUNG

Verwenden Sie die fssync --help um die vollständige Liste der Optionen zu erhalten.

Das Wichtigste ist, dass die lokale Datenbank genau mit den Daten übereinstimmen muss
auf dem Zielhost:

· Dateien, die auf den Zielhost kopiert werden, dürfen nicht geändert werden. Und nichts sollte
manuell in Zielverzeichnissen erstellt werden. Wenn Sie weiterhin auf Daten zugreifen möchten
Remote-Host, sollten Sie dies über ein schreibgeschütztes Bind-Mounts tun (erfordert Linux >=
2.6.26).

· Sie müssen über eine Datenbank pro Ziel verfügen, wenn Sie mehrere Kopien davon haben möchten
Quellverzeichnis.

Ansehen -c Option, wenn Sie sich fragen, ob Ihre Datenbank mit dem Zielverzeichnis übereinstimmt.

Erster Lauf von fssync:

· Der einfachste Weg besteht darin, fssync alles erledigen zu lassen. Geben Sie einen nicht vorhandenen Dateipfad an -d
Option und ein leeres oder nicht vorhandenes Zielverzeichnis (siehe -R Möglichkeit). fssync wird
Erstellt automatisch die Datenbank und kopiert alle Verzeichnisse/Dateien auf den Remote-Host.

· Ein schnellerer Weg könnte darin bestehen, die erste Kopie auf andere Weise zu erstellen, beispielsweise eine Rohkopie von a
Partition. Wenn Sie absolut sicher sind, dass Quelle und Ziel genau identisch sind,
Sie können die Datenbank durch Angabe initialisieren - als Gastgeber. Wenn die Inode-Nummern gleich sind
Auf beiden Seiten, was der Fall ist, wenn Daten auf Blockebene kopiert wurden, können Sie die ändern
Quellpartition, während Sie die Datenbank auf der Zielpartition initialisieren, und kehren Sie zurück
die DB lokal.

Ein Beispiel für einen Wrapper um fssync mit einem Filter finden Sie unter Beispiele/fssync_home

fssync führt niemals Verzeichnisse auf anderen Dateisystemen aus. Durch Mount-Punkte maskierte Inodes
werden ebenfalls übersprungen, daher sollten sie vorübergehend ausgehängt werden, wenn Sie dies wünschen
synchronisiert. Das gleiche Ergebnis kann durch die Synchronisierung von einem Bind-Mount aus erzielt werden.

Siehe auch die NONE Chiffre switch [2] Patch, wenn Sie keine Verschlüsselung benötigen, dies aber möchten
Beschleunigen Sie Ihre SSH-Verbindung.

WIE IT Bestellt?

fssync verwaltet eine einzelne SQLite-Tabelle aller Verzeichnisse/Dateien, die sich auf der Remote-Seite befinden. Jede
Zeile entspricht einem Pfad mit seinem Inode (auf der lokalen Seite), anderen Metadaten (auf der Remote-Seite) und a
geprüft Flagge.

Bei der Ausführung iteriert fssync rekursiv durch alle lokalen Verzeichnisse/Dateien und für jeden Pfad
das wird nicht ignoriert (siehe -f Option), fragt es die Datenbank ab, um zu entscheiden, was zu tun ist. Wenn schon
geprüft, Pfad wird sofort übersprungen. Wenn ein Pfad synchronisiert ist, wird er als markiert
geprüft. Am Ende alle Zeilen, die es nicht sind geprüft entspricht Pfaden, die nicht existieren
mehr. Sobald sie alle auf der Remote-Seite gelöscht sind geprüft Flags werden zurückgesetzt.

Scheitern Toleranz
Tatsächlich erfordert fssync nicht, dass die Datenbank perfekt mit dem Ziel übereinstimmt. Es
toleriert einige Unterschiede, um eine durch a verursachte unterbrochene Synchronisierung wiederherzustellen
Netzwerkfehler, ein Dateioperationsfehler oder irgendetwas anderes als ein Absturz des Betriebssystems
des lokalen Hosts (oder etwas Ähnliches wie ein Stromausfall).

In den meisten Fällen erfolgt dies durch den Remote-Host, der automatisch erstellt (oder überschreibt)
ein Inode des erwarteten Typs, falls erforderlich. Die einzige Ausnahme ist, dass die Fernbedienung dies tut
Löschen Sie niemals ein nicht leeres Verzeichnis allein. In den komplexesten Fällen führt fssync eine Journalisierung durch
Der Vorgang in der Datenbank: Im Falle eines Fehlers kann fssync als Nächstes eine Wiederherstellung durchführen
synchronisieren

Rennen Bedingungen
Eine Race-Bedingung bedeutet, dass andere Prozesse auf dem lokalen Host Inodes ändern
fssync synchronisiert. fssync behandelt jede Art von Racebedingung. Tatsächlich hat fssync das
In den meisten Fällen gibt es nichts zu tun.

Wenn eine Race-Bedingung auftritt, garantiert fssync nicht, dass sich die Remote-Daten in einem befinden
konsistenter Zustand. Bei jeder Synchronisierung werden immer bestehende Inkonsistenzen behoben, es können aber auch neue entstehen
andere, daher ist fssync nicht für die Hot-Sicherung von Datenbanken geeignet.

Mit Btrfs können Sie durch Snapshots auf der Quellseite Konsistenz erreichen.

ÄHNLICH PROJEKTE

Die Idee, eine lokale Datenbank zu pflegen, stammt eigentlich von csync2 [3]. ich wollte gerade
Ich habe es übernommen, als mir klar wurde, dass ich wirklich ein Tool brauchte, das Umbenennungen/Verschiebungen immer erkennt
große Dateien. Deshalb sehe ich fssync als eine teilweise Neufassung von csync2, mit Inode-Tracking und
ohne bidirektionale Synchronisation. Die lokale Datenbank macht fssync & csync2 wirklich
schneller als das Bekannte rsync [4].

Verwenden Sie fssync online über die Dienste von onworks.net