clfmerge - Online nel cloud

PROGRAMMA:

NOME

clfmerge - unisce i log web in formato Common-Log in base ai timestamp

SINOSSI

clfmerge [--aiuto | -H] [-B dimensione] [-D] [file nomi]

DESCRIZIONE

I clfmerge programma è progettato per evitare di utilizzare sort per unire più file di registro web. ragnatela
i log per i siti di grandi dimensioni sono costituiti da più file nell'intervallo di dimensioni >100M da un numero di
macchine. Per tali file non è pratico utilizzare un programma come gnusort per unire
i file perché i dati non sono sempre completamente in ordine (quindi l'opzione di unione di gnusort
non funziona così bene), ma non è in ordine casuale (quindi fare un ordinamento completo sarebbe a
sciupare). Anche il campo della data in cui viene ordinato non è particolarmente facile da specificare
per gnusort (l'ho visto fare ma era disordinato).

Questo programma è progettato per ordinare in modo semplice e rapido più file di registro di grandi dimensioni senza necessità
per spazio di archiviazione temporaneo o buffer di memoria eccessivamente grandi (l'impronta di memoria è
generalmente solo pochi mega).

OVERVIEW

Ci vorrà un numero (da 0 a n) di nomi di file sulla riga di comando, li aprirà
per leggere e leggere i dati del registro web in formato CLF da tutti loro. Linee che non sembrano
essere in formato CLF (NB non vengono analizzati completamente, solo un'analisi minima per determinare la data
viene eseguito) verrà rifiutato e visualizzato su errore standard.

Se vengono specificati zero file, non ci saranno errori, verrà semplicemente generato in modo silenzioso
niente, questo è per gli script che usano il Find comando per trovare i file di registro e quali non possono
essere contato per trovare qualsiasi file di registro, salva facendo un controllo extra nei tuoi script di shell.

Se viene specificato un file, i dati verranno letti in un buffer di 1000 righe e sarà
rimosso dal buffer (e visualizzato sullo standard output) in ordine di data. Questo è per
gestire il caso di server web che datano le voci sul tempo di connessione ma le scrivono su
il log al momento del completamento e quindi generare file di log che non sono in ordine (Netscape web
server fa questo - non ho controllato cosa fanno gli altri server web).

Se viene specificato più di un file, verrà letta una riga da ciascun file, il file che
ha avuto il primo timestamp verrà letto da fino a quando non restituisce un timestamp successivo all'uno
degli altri file. Quindi verrà letto il file con il timestamp precedente. Insieme a
più file la dimensione del buffer è 1000 righe o 100 * il numero di file (a seconda di quale sia
più grandi). Quando il buffer si riempie, la prima riga verrà rimossa e visualizzata su
uscita standard.

VERSIONI

-b dimensione buffer
Specificare la dimensione del buffer da utilizzare, se viene specificato 0 significa disabilitare il
ordinamento a finestra scorrevole dei dati che migliora la velocità.

-d Attiva la modifica del nome di dominio. Ciò significa che se una riga inizia con come nome
del sito che è stato richiesto poi che sarebbe stato rimosso dall'inizio del
linea e il GET / verrebbe cambiato in GET http://www.company.com/ che permette
programmi come Webalizer per produrre buoni grafici per grandi siti di hosting. anche
farà il nome di dominio in minuscolo.

EXIT STATUS

0 Nessun errore

1 Parametri errati

2 Impossibile aprire uno dei file specificati

3 Impossibile scrivere sull'output

Usa clfmerge online utilizzando i servizi onworks.net