dupemap - Online w chmurze

PROGRAM:

IMIĘ

dupemap - Tworzy bazę danych sum kontrolnych plików i używa jej do eliminacji duplikatów

STRESZCZENIE

duplikat [ Opcje ] [ -d baza danych ] działanie ścieżka...

OPIS

duplikat rekursywnie skanuje każdy ścieżka aby znaleźć sumy kontrolne zawartości pliku. Katalogi są
przeszukiwane w dowolnej kolejności. Jego działania zależą od tego, czy -d Jest opcja
podane, a na działanie parametr, który musi być listą oddzieloną przecinkami skanować,
raport, usunąć:

Bez -d
duplikat podejmie działanie, gdy zobaczy tę samą sumę kontrolną powtórzoną więcej niż raz, tj
po prostu rekurencyjnie wyszukuje duplikaty. Działanie zależy od działanie:

raport Zgłoś, jakie pliki napotkano więcej niż raz, drukując ich nazwy w standardzie
wyjście.

usunąć[,raport]
Usuń pliki, które napotkano więcej niż raz. Wydrukuj ich imiona, jeśli raport is
również podane.

UWAGA: użyć raport najpierw, aby zobaczyć, co zostanie usunięte.

UWAGA: Radzimy najpierw zrobić kopię zapasową celu, np. "cp -al"
(dla GNU cp) do rekursywnego tworzenia twardych dowiązań.

Wraz z -d
baza danych argument drugi -d będzie oznaczać plik bazy danych (zobacz sekcję "BAZA DANYCH" w
tej instrukcji, aby uzyskać szczegółowe informacje) do odczytu lub zapisu. W tym trybie skanować działanie
powinien być uruchomiony na jednym ścieżka, a następnie raport or usunąć operacja na innym (nie dotychczasowy
podobnie!) ścieżka.

skanować Dodaj sumę kontrolną każdego pliku do baza danych. Ta operacja musi zostać uruchomiona na początku, aby
utworzyć bazę danych. Aby zacząć od nowa, musisz ręcznie usunąć plik(i) bazy danych
(patrz rozdział „BAZA DANYCH”).

raport Wydrukuj nazwę każdego pliku, jeśli jego suma kontrolna jest znaleziona w baza danych.

usunąć[,raport]
Usuń każdy plik, jeśli jego suma kontrolna zostanie znaleziona w baza danych. Jeśli raport jest również obecny,
wydrukuj nazwę każdego usuniętego pliku.

UWAGA: jeśli uciekniesz duplikat usunąć w taki sam ścieżka właśnie uciekłeś duplikat skanować na,
to będzie usunąć każdy plik! Ideą tych opcji jest zeskanowanie jednego ścieżka i usuń
pliki w sekundę ścieżka.

UWAGA: użyć raport najpierw, aby zobaczyć, co zostanie usunięte.

UWAGA: Radzimy najpierw zrobić kopię zapasową celu, np. "cp -al"
(dla GNU cp) do rekursywnego tworzenia twardych dowiązań.

OPCJE

-d baza danych
Zastosowanie baza danych jako baza danych na dysku do odczytu lub zapisu. Zobacz
Sekcja „OPIS” powyżej o tym, jak wpływa to na działanie duplikat.

-I filet
Czyta pliki wejściowe z filet oprócz tych wymienionych w wierszu poleceń. Gdyby
filet to "-", odczytywane ze standardowego wejścia. Każda linia zostanie zinterpretowana jako plik
nazwa.

Podane tutaj ścieżki NIE będą skanowane rekurencyjnie. Katalogi zostaną zignorowane
i dowiązania symboliczne będą przestrzegane.

-m minimalny rozmiar
Ignoruj ​​pliki poniżej tego rozmiaru.

-M największy rozmiar
Ignoruj ​​pliki powyżej tego rozmiaru.

ZASTOSOWANIE

Ogólne zwyczaj
Najłatwiej zrozumieć operacje, gdy -d opcja nie jest podana. Aby usunąć wszystko
zduplikowane pliki w /tmp/odzyskane-pliki, robić:

$ dupemap usuń /tmp/odzyskane-pliki

Często, duplikat skanować jest uruchamiany w celu utworzenia bazy danych sum kontrolnych wszystkich plików w katalogu
drzewo. Następnie duplikat usunąć jest uruchamiany w innym katalogu, prawdopodobnie następującym duplikat raport.
Na przykład, aby usunąć wszystkie pliki w /tmp/odzyskane-pliki które już istnieją w $ HOME, zrobić
to:

$ dupemap -d katalog domowy.map scan $HOME
$ dupemap -d homedir.map usuń, zgłoś /tmp/recovered-files

Stosowanie w magiczny ratunek
Główna aplikacja dla duplikat jest trochę bólu podczas wykonywania cofnięcia skasowania
operacje z magiczny ratunek(1). Powód jest taki, że magiczny ratunek wydobędzie każdy pojedynczy
plik określonego typu na urządzeniu blokowym, więc przywrócenie plików wymaga znalezienia
kilka plików z setek, co może zająć dużo czasu, jeśli zostanie wykonane ręcznie. Co chcemy
zrobić to wyodrębnić tylko te dokumenty, które jeszcze nie istnieją w systemie plików.

W poniższym scenariuszu przypadkowo usunąłeś kilka ważnych dokumentów programu Word w
Okna. Gdyby to był scenariusz z prawdziwego świata, to jak najbardziej użyj The Sleuth Kit.
Jednakże, magiczny ratunek będzie działać nawet wtedy, gdy wpisy w katalogu zostały nadpisane, czyli więcej
pliki zostały później zapisane w tym samym folderze.

Uruchamiasz Linuksa i przechodzisz do katalogu z dużą ilością miejsca. Zamontuj okna
partycji, najlepiej tylko do odczytu (zwłaszcza z NTFS) i utwórz katalogi, które będziemy
używać.

$ mount -o ro /dev/hda1 /mnt/windows
$ mkdir zdrowe_dokumenty uratowane_dokumenty

Wyodrębnij wszystkie zdrowe dokumenty Word za pomocą magiczny ratunek i zbuduj bazę danych ich
sumy kontrolne. Wysyłanie wszystkich dokumentów może wydawać się trochę zbędne magiczny ratunek
po pierwsze, ale powodem jest to, że ten proces może je modyfikować (np. stripping trailing
śmieci), a zatem ich suma kontrolna nie będzie taka sama jak w oryginalnych dokumentach.
Ponadto znajdzie dokumenty osadzone w innych plikach, takich jak nieskompresowany zip
archiwa lub pliki z niewłaściwym rozszerzeniem.

$ znajdź /mnt/windows -typ f \
|magicrescue -I- -r msoffice -d zdrowe_dokumenty
$ dupemap -d zdrowe_dokumenty.map skanuj zdrowe_dokumenty
$ rm -rf zdrowe_dokumenty

Teraz uratuj wszystkie dokumenty „msoffice” z urządzenia blokowego i pozbądź się wszystkiego, co jest
nie *.doc.

$ magicrescue -Mo -r msoffice -d uratowany_docs /dev/hda1 \
|grep -v '\.doc$'|xargs rm -f

Usuń wszystkie uratowane dokumenty, które również pojawiają się w systemie plików, i usuń
duplikaty.

$ dupemap -d zdrowe_dokumenty.map usuń, zgłoś uratowane_dokumenty
$ dupemap usuń, zgłoś uratowaną_dokumentację

uratowane_dokumenty folder powinien teraz zawierać tylko kilka plików. To będzie nieusunięty
pliki i niektóre dokumenty, które nie były przechowywane w ciągłych blokach (użyj tego defraggera
;-)).

Stosowanie w fsck
W tym scenariuszu (opartym na prawdziwej historii) masz uszkodzony dysk twardy. Ty masz
udało się dd około 80% zawartości do pliku obraz dysku, a ty masz stary
backup sprzed kilku miesięcy. Dysk używa reiserfs w systemie Linux.

Najpierw użyj fsck, aby przywrócić użyteczność systemu plików. Znajdzie wiele bezimiennych plików
i włóż je do środka zgubione+znalezione. Musisz upewnić się, że na dysku jest trochę wolnego miejsca
image, więc fsck ma z czym pracować.

$ cp obraz dysku diskimage.bak
$ dd if=/dev/zero bs=1M count=2048 >> diskimage
$ reiserfsck --rebuild-tree obraz dysku
$ mount -o obraz dysku w pętli / mnt
$ ls /mnt/zgubione+znalezione
(tony plików)

Naszą strategią będzie przywrócenie systemu ze starą kopią zapasową jako bazą i połączenie tych dwóch
inne zestawy plików (/mnt/zgubione+znalezione oraz / mnt) do kopii zapasowej po usunięciu
duplikaty. Dlatego tworzymy bazę danych sum kontrolnych katalogu, który rozpakowaliśmy
kopia zapasowa w.

$ dupemap -d kopia zapasowa.map scan ~/kopia zapasowa

Następnie usuwamy wszystkie pliki z uratowanego obrazu, które są również obecne w
utworzyć kopię zapasową.

$ dupemap -d backup.map usuń,raport / mnt

Chcemy również usunąć duplikaty z zgubione+znalezionei chcemy pozbyć się wszelkich plików
które są również obecne w innych katalogach w / mnt.

$ dupemap usuń, zgłoś /mnt/lost+found
$ls / mnt|grep -v zagubiony+znaleziony|xargs dupemap -d mnt.map scan
$ dupemap -d mnt.map usuń, zgłoś /mnt/lost+found

Powinno to pozostawić tylko pliki w / mnt które zmieniły się od czasu ostatniej kopii zapasowej lub dostały
skorumpowany. W szczególności zawartość /mnt/zgubione+znalezione powinien być teraz wystarczająco zredukowany, aby
ręcznie je posortuj (lub użyj magiczny sort(1)).

Prymitywny wtargnięcie wykrywanie
Możesz użyć duplikat aby zobaczyć, jakie pliki zmieniają się w twoim systemie. To jeden z bardziej
egzotyczne zastosowania i zawiera tylko inspirację.

Najpierw mapujesz cały system plików.

$ dupemap -d stary.map skan /

Potem wracasz kilka dni/tygodni później i uciekasz duplikat raport. To da ci
widok czego? ma nie zmieniony. Aby zobaczyć co ma zmieniony, potrzebujesz spisu całego pliku
system. Możesz łatwo otrzymać tę listę wraz z przygotowaniem nowej mapy. Obie listy muszą
być posortowane do porównania.

$ dupemap -d raport stary.map /|sort > niezmienione_pliki
$ dupemap -d bieżący.map skan /|sort > bieżące_pliki

Pozostało tylko porównać te pliki i przygotować się na przyszły tydzień. To zakłada
że dbm dołącza rozszerzenie ".db" do plików bazy danych.

$ diff niezmienione_pliki bieżące_pliki > zmienione_pliki
$ mv bieżący.map.db stary.map.db

DATABASE

Rzeczywisty plik(i) bazy danych napisany przez duplikat będzie miał jakiś związek z baza danych
argument, ale większość implementacji dołącza rozszerzenie. Na przykład nazwy Berkeley DB
pliki baza danychdb, podczas gdy Solaris i GDBM tworzą zarówno baza danych.dir oraz baza danych.strona
plik.

duplikat zależy od biblioteki bazy danych do przechowywania sum kontrolnych. Obecnie wymaga
standaryzowany przez POSIX ndbm biblioteka, która musi być obecna w systemach UNIX zgodnych z XSI.
Wdrożenia nie są wymagane do obsługi kolizji kluczy mieszających, a w tym przypadku awaria
może zrobić duplikat usuń zbyt wiele plików. nie słyszałem o takiej realizacji,
chociaż.

Obecny algorytm sumy kontrolnej to CRC32 pliku w połączeniu z jego rozmiarem. Obie wartości
są przechowywane w natywnej kolejności bajtów, a ze względu na różne rozmiary typu baza danych jest nie
przenośne między architekturami, kompilatorami i systemami operacyjnymi.

Korzystaj z dupemap online za pomocą usług onworks.net