dupemap - Online în cloud

PROGRAM:

NUME

dupemap - creează o bază de date cu sume de verificare a fișierelor și o folosește pentru a elimina duplicatele

REZUMAT

dupemap [ Opțiuni ] [ -d Baza de date ] operaţie cale...

DESCRIERE

dupemap scanează recursiv fiecare cale pentru a găsi sume de control ale conținutului fișierului. Directoarele sunt
căutat în nicio ordine anume. Acțiunile sale depind de dacă -d opțiunea este
dat, iar pe operaţie parametru, care trebuie să fie o listă separată prin virgulă scanare,
raportează, șterge:

Fără -d
dupemap va lua măsuri atunci când vede aceeași sumă de control repetată de mai multe ori, adică ea
găsește pur și simplu duplicate recursiv. Acțiunea depinde de operaţie:

raportează Raportați ce fișiere sunt întâlnite de mai multe ori, imprimându-le numele la standard
ieșire.

șterge[,raport]
Ștergeți fișierele care sunt întâlnite de mai multe ori. Tipăriți-le numele dacă raportează is
dat de asemenea.

AVERTISMENT: utilizați raportează operațiune mai întâi pentru a vedea ce va fi șters.

AVERTISMENT: Vi se recomandă să faceți mai întâi o copie de rezervă a țintei, de exemplu cu „cp -al”
(pentru GNU cp) pentru a crea link-uri hard recursiv.

cu -d
Baza de date argument pentru -d va denota un fișier de bază de date (consultați secțiunea „BAZA DE DATE” în
acest manual pentru detalii) pentru a citi sau a scrie. În acest mod, scanare operaţie
ar trebui să fie rulat pe unul cale, urmată de raportează or șterge operațiune pe altul (nu il
la fel!) cale.

scanare Adăugați suma de control a fiecărui fișier la Baza de date. Această operațiune trebuie executată inițial la
creați baza de date. Pentru a începe de la capăt, trebuie să ștergeți manual fișierele bazei de date
(vezi secțiunea „BAZA DE DATE”).

raportează Tipăriți fiecare nume de fișier dacă suma de control este găsită în Baza de date.

șterge[,raport]
Ștergeți fiecare fișier dacă suma de control este găsită în Baza de date. Dacă raportează este de asemenea prezent,
tipăriți numele fiecărui fișier șters.

AVERTISMENT: dacă fugi dupemap șterge pe același cale tocmai ai fugit dupemap scanare ea
o sa șterge fiecare fişier! Ideea acestor opțiuni este să scanezi una cale și ștergeți
fișiere într-o secundă cale.

AVERTISMENT: utilizați raportează operațiune mai întâi pentru a vedea ce va fi șters.

AVERTISMENT: Vi se recomandă să faceți mai întâi o copie de rezervă a țintei, de exemplu cu „cp -al”
(pentru GNU cp) pentru a crea link-uri hard recursiv.

OPŢIUNI

-d Baza de date
Utilizare Baza de date ca bază de date pe disc pentru a citi sau a scrie. Vezi
Secțiunea „DESCRIERE” de mai sus despre modul în care aceasta influențează funcționarea dupemap.

-I fişier
Citește fișierele de intrare din fişier pe lângă cele enumerate pe linia de comandă. Dacă
fişier este „-”, citit de la intrarea standard. Fiecare linie va fi interpretată ca un fișier
nume.

Căile date aici NU vor fi scanate recursiv. Directoarele vor fi ignorate
iar legăturile simbolice vor fi urmate.

-m dimensiune mică
Ignorați fișierele sub această dimensiune.

-M dimensiune maximă
Ignorați fișierele peste această dimensiune.

UTILIZARE

General folosire
Operațiunile cele mai ușor de înțeles sunt atunci când -d opțiunea nu este dată. Pentru a șterge toate
fișiere duplicate în /tmp/fișiere-recuperate, face:

$ dupemap șterge /tmp/recovered-files

De multe ori, dupemap scanare este rulat pentru a produce o bază de date cu sumă de verificare a tuturor fișierelor dintr-un director
copac. Atunci dupemap șterge este rulat într-un alt director, eventual după dupemap raportează.
De exemplu, pentru a șterge toate fișierele din /tmp/fișiere-recuperate care există deja în $ ACASĂ, nu
acest:

$ dupemap -d homedir.map scanează $HOME
$ dupemap -d homedir.map delete,report /tmp/recovered-files

Folosire cu salvare magică
Aplicația principală pentru dupemap este să elimini puțină durere din efectuarea ștergerii
operațiuni cu salvare magică(1). Motivul este că salvare magică va extrage fiecare
fișier de tipul specificat pe dispozitivul de blocare, astfel încât anularea ștergerii fișierelor necesită să găsiți un
câteva fișiere din sute, ceea ce poate dura mult timp dacă este făcut manual. Ce vrem
este să extragi doar documentele care nu există deja pe sistemul de fișiere.

În următorul scenariu, ați șters accidental câteva documente Word importante în
Windows. Dacă acesta ar fi un scenariu din lumea reală, atunci folosiți prin toate mijloacele The Sleuth Kit.
"Dar daca salvare magică va funcționa chiar și atunci când intrările din director au fost suprascrise, adică mai mult
fișierele au fost stocate ulterior în același folder.

Porniți în Linux și treceți la un director cu mult spațiu. Montați ferestrele
partiție, de preferință numai în citire (în special cu NTFS) și creați directoarele pe care le vom face
utilizaţi.

$ mount -o ro /dev/hda1 /mnt/windows
$ mkdir healthy_docs rescued_docs

Extrage toate documentele Word sănătoase cu salvare magică și construi o bază de date a acestora
sume de control. Poate părea puțin redundant să trimiteți toate documentele salvare magică
mai întâi, dar motivul este că acest proces le poate modifica (de exemplu, eliminarea trailingului
gunoi), și, prin urmare, suma lor de control nu va fi aceeași cu documentele originale.
De asemenea, va găsi documente încorporate în alte fișiere, cum ar fi zip necomprimat
arhive sau fișiere cu extensia greșită.

$ find /mnt/windows -type f \
|magicrescue -I- -r msoffice -d healthy_docs
$ dupemap -d healthy_docs.map scanează healthy_docs
$ rm -rf healthy_docs

Acum salvați toate documentele „msoffice” de pe dispozitivul de blocare și scăpați de tot ce este
nu un *.doc.

$ magicrescue -Mo -r msoffice -d rescued_docs /dev/hda1 \
|grep -v '\.doc$'|xargs rm -f

Eliminați toate documentele salvate care apar și pe sistemul de fișiere și eliminați
duplicate.

$ dupemap -d healthy_docs.map delete,report rescued_docs
$ dupemap delete,report rescued_docs

rescued_docs folderul ar trebui să conțină acum doar câteva fișiere. Acesta va fi anulat
fișiere și unele documente care nu au fost stocate în blocuri învecinate (utilizați acel defragmentator
;-)).

Folosire cu fsck
În acest scenariu (bazat pe o poveste adevărată), aveți un hard disk care s-a stricat. Aveți
A reușit dd aproximativ 80% din conținut în fișier imagine disc, și ai un vechi
backup de acum câteva luni. Discul folosește reiserfs pe Linux.

Mai întâi, utilizați fsck pentru a face din nou sistemul de fișiere utilizabil. Va găsi multe fișiere fără nume
și pune-le înăuntru pierdut+găsit. Trebuie să vă asigurați că există spațiu liber pe disc
imagine, deci fsck are cu ce să lucreze.

$ cp imagine disc diskimage.bak
$ dd if=/dev/zero bs=1M count=2048 >> imagine disc
$ reiserfsck --rebuild-tree diskimage
$ mount -o buclă imagine disc / mnt
$ ls /mnt/lost+găsit
(tone de fișiere)

Strategia noastră va fi să restabilim sistemul cu vechiul backup ca bază și să le îmbinăm pe cele două
alte seturi de fișiere (/mnt/lost+found și / mnt) în backup după eliminare
duplicate. Prin urmare, creăm o bază de date cu sumă de control a directorului pe care l-am despachetat
backup în.

$ dupemap -d backup.map scan ~/backup

Apoi, eliminăm toate fișierele din imaginea salvată care sunt și ele prezente în
de rezervă.

$ dupemap -d backup.map delete,report / mnt

De asemenea, dorim să eliminăm duplicatele din pierdut+găsit, și vrem să scăpăm de orice fișiere
care sunt prezente și în celelalte directoare în / mnt.

$ dupemap delete,report /mnt/lost+found
$ls / mnt|grep -v lost+found|xargs dupemap -d mnt.map scan
$ dupemap -d mnt.map delete,report /mnt/lost+found

Acest lucru ar trebui să lase doar fișierele în / mnt care s-au schimbat de la ultima copie de rezervă sau au primit
corupt. În special, conținutul /mnt/lost+found ar trebui acum redus suficient la
sortați manual prin ele (sau poate utilizați magicsort(1)).

Primitiv intruziune detectare
Poți să folosești dupemap pentru a vedea ce fișiere se modifică pe sistemul dvs. Aceasta este una dintre cele mai multe
utilizări exotice și este inclus doar pentru inspirație.

Mai întâi, mapați întregul sistem de fișiere.

$ dupemap -d scanare old.map /

Apoi te întorci câteva zile/săptămâni mai târziu și fugi dupemap raportează. Acest lucru vă va oferi un
vedere a ce are nu schimbat. Sa vezi ce are schimbat, aveți nevoie de o listă a întregului fișier
sistem. Puteți obține această listă împreună cu pregătirea unei noi hărți cu ușurință. Ambele liste trebuie
fi sortat pentru a fi comparat.

$ dupemap -d raport vechi.hartă /|sortare > fișiere_nemodificate
$ dupemap -d current.map scan /|sort > current_files

Tot ce mai rămâne de făcut este să comparăm aceste fișiere și să ne pregătim pentru săptămâna viitoare. Aceasta presupune
că dbm adaugă extensia „.db” la fișierele bazei de date.

$ diff fișiere_neschimbate fișiere_actuale > fișiere_modificate
$ mv curent.hartă.db vechi.hartă.db

BAZA DE DATE

Fișierele de bază de date scrise de dupecheck va avea o oarecare legătură cu Baza de date
argument, dar majoritatea implementărilor adaugă o extensie. De exemplu, numele Berkeley DB
fișierele Baza de date.db, în timp ce Solaris și GDBM creează atât a Baza de date. este și Baza de date.pag
fișier.

dupecheck depinde de o bibliotecă de baze de date pentru stocarea sumelor de control. În prezent necesită
standardizat POSIX ndbm bibliotecă, care trebuie să fie prezentă pe UNIX-urile compatibile cu XSI.
Implementările nu sunt necesare pentru a gestiona coliziunile cheilor hash și este o eroare de a face asta
ar putea face dupecheck șterge prea multe fișiere. Nu am auzit de o astfel de implementare,
deşi.

Algoritmul actual al sumei de control este CRC32 al fișierului combinat cu dimensiunea acestuia. Ambele valori
sunt stocate în ordinea nativă a octeților și, din cauza dimensiunilor diferitelor tip, baza de date este nu
portabil prin arhitecturi, compilatoare și sisteme de operare.

Utilizați online dupemap folosind serviciile onworks.net