pmdaweblog - Online in der Cloud

PROGRAMM:

NAME/FUNKTION

pmdaweblog - Performance Metrics Domain Agent (PMDA) für Webserver-Protokolle

ZUSAMMENFASSUNG

$PCP_PMDAS_DIR/weblog/pmdaweblog [-Cp] [-d Domain] [-h hilfreich] [-i port ] [-l Logdatei]
[-n Leerlaufsec] [-S num] [-t verzögern] [-u Buchse] [-U Benutzername] Konfigurationsdatei

BESCHREIBUNG

pmdaweblog ist ein Performance Metrics Domain Agent (PMDA(3)), das die Webserver-Protokolle scannt, um
Extrahieren von Metriken, die die Aktivität des Webservers charakterisieren. Diese Leistungsmetriken werden dann
bereitgestellt durch die Infrastruktur des Performance Co-Pilot (PCP).

Die Konfigurationsdatei gibt an, welche Webserver überwacht werden sollen, deren zugehörige Zugriffsrechte
Protokolle und Fehlerprotokolle sowie ein auf regulären Ausdrücken basierendes Schema zum Extrahieren detaillierter
Informationen zu jedem Webzugriff. Diese Datei wird als Teil der PMDA verwaltet
Installation und/oder Deinstallation durch die Skripte Installieren und Entfernen im Verzeichnis
$PCP_PMDAS_DIR/weblogWeitere Einzelheiten finden Sie im folgenden Abschnitt über
Installation.

Einmal angefangen, pmdaweblog überwacht eine Reihe von Protokolldateien und als Antwort auf eine Anfrage für
Informationen, verarbeitet alle neuen Informationen, die den Protokolldateien hinzugefügt wurden,
ähnlich wie ein Schwanz(1). Es gibt auch regelmäßige „Aufholprozesse“, um neue Informationen aus
alle Protokolldateien und ein Schema zum Erkennen der Rotation von Protokolldateien.

Wie alle anderen PMDAs, pmdaweblog wird ins Leben gerufen von pmcd(1) Verwenden von Befehlszeilenoptionen
spezifiziert in $PCP_PMCDCONF_PATH - der Installieren Das Skript fordert zur Eingabe entsprechender Werte auf
für die Befehlszeilenoptionen und aktualisieren $PCP_PMCDCONF_PATH.

Eine kurze Beschreibung der pmdaweblog Befehlszeilenoptionen folgen:

-C Überprüfen Sie die Konfiguration und beenden Sie das Programm.

-d Domain
Präzisiere das Domain Nummer. Es ist absolut entscheidend, dass die Leistungskennzahlen
Domain Die hier angegebene Nummer ist eindeutig und konsistent. Das heißt, Domain sollte sein
für jeden PMDA auf einem Host unterschiedlich und derselbe Domain Nummer sollte verwendet werden
für die pmdaweblog PMDA auf allen Hosts.

Bei den meisten Installationen ist die Standardeinstellung Domain wie in der Datei gekapselt
$PCP_PMDAS_DIR/weblog/domain.h reicht aus. Für alternative Werte siehe
$PCP_PMCDCONF_PATH für die Domain Werte, die auf diesem Host bereits verwendet werden, und die Datei
$PCP_VAR_DIR/pmns/stdpmid enthält ein Repository mit „bekannten“ Domain
Aufgaben, die wahrscheinlich vermieden werden sollten.

-h hilfreich
Den Hilfetext entnehmen Sie bitte der mitgelieferten hilfreich und nicht vom Standardspeicherort.

-i port
Kommunizieren mit pmcd(1) auf der angegebenen Internet- port (das kann eine Zahl oder ein
Name).

-l Logdatei
Speicherort der Protokolldatei. Standardmäßig wird eine Protokolldatei namens weblog.log ist geschrieben in
das aktuelle Verzeichnis von pmcd(1) wenn pmdaweblog wird gestartet, dh
$PCP_LOG_DIR/pmcd. Wenn die Protokolldatei nicht erstellt werden kann oder nicht beschreibbar ist, ist die Ausgabe
stattdessen in den Standardfehler geschrieben.

-n Leerlaufsec
Wenn eine Webserver-Protokolldatei nicht geändert wurde für Leerlaufsec Sekunden, dann die Datei
wird geschlossen und wieder geöffnet. Nur so pmdaweblog kann jeden erkennen
asynchrone Rotation der Protokolle durch Webserver-Verwaltungsskripte. Die
Die Standarddauer beträgt 20 Sekunden. Dieser Wert kann dynamisch geändert werden mit
pmstore(1) den Wert der Leistungsmetrik zu ändern web.config.check.

-p Kommunizieren mit pmcd(1) über eine Rohrleitung.

-S num Geben Sie die maximale Anzahl von Webservern pro sproc. Es kann wünschenswert sein (aus
Latenz und Lastausgleich Perspektive) oder notwendig (aufgrund Datei-Deskriptor
Grenzwerte), um die Verantwortung für das Scannen der Webserver-Protokolldateien an mehrere
Sprocs. pmdaweblog wird sicherstellen, dass jeder sproc verwaltet die Protokolldateien für höchstens
num Webserver. Der Standardwert ist 80 Webserver pro sproc.

-t verzögern
Um zu vermeiden, dass viele Informationen aus den Webserver-Protokollen als Antwort gescannt werden müssen
Auf eine einzelne Anfrage nach Leistungsmetriken werden alle Protokolldateien mindestens überprüft
einmal alle verzögern Sekunden. Der Standardwert beträgt 15 Sekunden. Dieser Wert kann geändert werden
dynamisch verwenden pmstore(1) den Wert der Leistungsmetrik zu ändern
web.config.catchup.

-u Buchse
Kommunizieren mit pmcd(1) über die angegebene Unix-Domäne Buchse.

-U Benutzerkonto, unter dem der Agent ausgeführt werden soll. Der Standard ist das nicht privilegierte "pcp"
Konto in aktuellen Versionen von PCP, aber in älteren Versionen das Superuser-Konto
("root") wurde standardmäßig verwendet.

INSTALLATION

Das PCP-Framework ermöglicht die Erfassung von Metriken auf einem Host und die Überwachung von einem anderen.
Diese Hosts werden bezeichnet als Sammler und Monitor Hosts bzw. Hosts. Ein Host kann
sowohl ein Sammler als auch ein Monitor.

Collector-Hosts erfordern die Installation des Agenten, während Monitoring-Hosts keine
Agenteninstallation überhaupt.

Führen Sie für Collector-Hosts als Root Folgendes aus:

# cd $PCP_PMDAS_DIR/weblog
# ./Installieren

Bei der Installation werden Sie aufgefordert, eine Standard- oder Nicht-Standardinstallation auszuwählen. Eine Standardinstallation
Die Installation sucht nach bekannten Serverkonfigurationen und konfiguriert automatisch die
PMDA für alle gefundenen Server-Logdateien. Eine nicht standardmäßige Installation führt zu
durch jeden Server, wobei der Benutzer zur Eingabe anderer Serverkonfigurationen und Argumente aufgefordert wird,
pmdaweblogDas Endergebnis einer Collector-Installation ist die Erstellung einer Konfigurationsdatei
das wird weitergegeben an pmdaweblog über das Konfigurationsdatei Argument.

Wenn Sie die Installation rückgängig machen möchten, gehen Sie als Root wie folgt vor:

# cd $PCP_PMDAS_DIR/weblog
# ./Entfernen

pmdaweblog wird ins Leben gerufen von pmcd(1) und sollte niemals direkt ausgeführt werden. Der Installieren und
Entfernen Skripte benachrichtigen pmcd(1) wenn der Agent installiert oder entfernt wird.

CONFIGURATION

Die Konfigurationsdatei für das Weblog PMDA ist eine ASCII-Datei, die leicht geändert werden kann.
Leere Zeilen und Zeilen, die mit ' beginnen#' werden ignoriert. Alle anderen Zeilen müssen entweder
regulärer Ausdruck oder Serverspezifikation.

Reguläre Ausdrücke, die sowohl in den Zugriffs- als auch in den Fehlerprotokolldateien verwendet werden, müssen vom Typ
bilden:

Regex RegexName regexp
or

regex_posix RegexName Bestellung regexp_posix

Die RegexName ist ein Wort, das den regulären Ausdruck eindeutig identifiziert. Dies ist die
Referenz, die in der Serverspezifikation verwendet wird. Die regexp für Zugriffsprotokolle liegt im Format
beschrieben für regcmp(3). Das regexp_posix für Zugriffsprotokolle liegt das für
regcomp(3). Das Argument Bestellung wird unten erklärt. Die Posix Formular sollte verfügbar sein
auf allen Plattformen.

Der reguläre Ausdruck erfordert die Angabe von bis zu vier zu extrahierenden Argumenten
aus jeder Zeile eines Webserver-Zugriffsprotokolls, abhängig vom Servertyp. In den meisten
Im Normalfall gibt es zwei Argumente, die die Methode und die Größe darstellen.

Für die Nicht- Posix Version, Argument $0 sollte die Methode enthalten: STARTE, KOPF , jetzt lesen or
SETZENDie Methode SETZEN wird als Synonym für jetzt lesenund alles andere wird kategorisiert als
anderes.

Das zweite Argument, $1, sollte die Größe der Anfrage enthalten. Eine Größe von ``-'' oder `` ''
wird als unbekannt behandelt.

Argument $3 sollte den an den Client-Browser zurückgegebenen Statuscode und das Argument enthalten $4
sollte den Statuscode enthalten, der von einem Remote-Host an den Server zurückgegeben wird. Letztere
Zwei Argumente werden für Caching-Server verwendet und müssen als Paar angegeben werden (oder $3 wird sein
ignoriert). Weitere Informationen zu Statuscodes finden Sie auf der Website
http://www.w3.org/Protocols/rfc2616/rfc2616-sec10.html

Einige rechtliche Nicht- Posix Die Regex-Ausdrucksspezifikationen zum Überwachen eines Zugriffsprotokolls lauten:

# Muster für CERN, NCSA, Netscape usw. Zugriffsprotokolle
Regex CERN ] „([A-Za-z][-A-Za-z]+)$0 .*“ ​​[-0-9]+ ([-0-9]+)$1

# Muster für FTP-Server-Zugriffsprotokolle (normalerweise in SYSLOG)
regulärer Ausdruck SYSLOG_FTP ftpd[.*]: ([gp][-A-Za-z]+)$0( )$1

Es gibt 1 spezielle Art von Zugriffsprotokollen mit der RegexName TINTENFISCH. Dieses Format extrahiert 4
Parameter, aber da die Tintenfisch Die Protokolldatei verwendet textbasierte Statuscodes und wird als
besonderer Fall.

In den folgenden Beispielen NS_PROXY analysiert den Netscape/W3C gemeinsam Verlängert Log Format und
SQUID analysiert die Protokolldatei im Standardformat Squid Object Cache.

# Muster für erweiterte Protokolle des Netscape Proxy-Servers
regex NS_PROXY ] "([A-Za-z][-A-Za-z]+)$0 .*" ([-0-9]+)$2 \
([-0-9]+)$1 ([-0-9]+)$3

# Muster für Squid Cache-Protokolle
Regulärer Ausdruck SQUID [0-9]+.[0-9]+[ ]+[0-9]+ [a-zA-Z0-9.]+ \
([_A-Z]+)$3([0-9]+)$2 ([0-9]+)$1 ([A-Z]+)$0

Die regexp für die Fehlerprotokolle erfordert keine Argumente, nur eine Übereinstimmung. Einige rechtliche
Ausdrücke sind:

# Muster für CERN, NCSA, Netscape usw. Fehlerprotokolle
regulärer Ausdruck CERN_err .

# Muster für FTP-Server-Fehlerprotokolle (normalerweise in SYSLOG)
Regex SYSLOG_FTP_err FTP-Anmeldung fehlgeschlagen

If POSIX kompatible reguläre Ausdrücke verwendet werden, sind zusätzliche Informationen erforderlich, da
Die Reihenfolge der Parameter kann im regulären Ausdruck nicht angegeben werden. Für Rückwärts
Kompatibilität, der gemeinsame Fall von zwei Parametern kann die Reihenfolge angegeben werden als Methode, Größe
or Größe, Methode Im Allgemeinen wird die Reihenfolge durch eine der folgenden Optionen angegeben
Methoden:

n1, n2, n3, n4
wobei nX eine Ziffer zwischen 1 und 4 ist. Jedes durch Kommas getrennte Feld stellt (in der Reihenfolge) dar
die Argumentnummer für Methode, Größe, Clientstatus, Serverstatus

– Wird für Fälle wie Fehlerprotokolle verwendet, bei denen der Inhalt ignoriert wird.

Was die Nicht- Posix Format, die SQUID RegexName wird als Sonderfall behandelt, um zuzuordnen
die nicht numerischen Statuscodes.

Einige legal Posix Die Regex-Ausdrucksspezifikationen zum Überwachen eines Zugriffsprotokolls lauten:

# Muster für CERN, NCSA, Netscape, Apache usw. Zugriffsprotokolle
regex_posix CERN-Methode, Größe ][ \]+"([A-Za-z][-A-Za-z]+) \
[^"]*" [-0-9]+ ([-0-9]+)

# Muster für CERN, NCSA, Netscape, Apache usw. Zugriffsprotokolle
regex_posix CERN 1,2 ][ \]+"([A-Za-z][-A-Za-z]+) \
[^"]*" [-0-9]+ ([-0-9]+)

# Muster für FTP-Server-Zugriffsprotokolle (normalerweise in SYSLOG)
regex_posix SYSLOG_FTP-Methode, Größe ftpd[.*]: \
([gp][-A-Za-z]+)( )

# Muster für erweiterte Protokolle des Netscape Proxy-Servers
regex_posix NS_PROXY 1,3,2,4 ][ ]+"([A-Za-z][-A-Za-z]+) \
[^"]*" ([-0-9]+) ([-0-9]+) ([-0-9]+)

# Muster für Squid Cache-Protokolle
regex_posix SQUID 4,3,2,1 [0-9]+.[0-9]+[ ]+[0-9]+ \
[a-zA-Z0-9.]+ ([_A-Z]+)([0-9]+) ([0-9]+) ([AZ]+)

# Muster für CERN, NCSA, Netscape usw. Fehlerprotokolle
regex_posix CERN_err - .

# Muster für FTP-Server-Fehlerprotokolle (normalerweise in SYSLOG)
regex_posix SYSLOG_FTP_err - FTP-Anmeldung fehlgeschlagen

Ein Webserver kann mit dieser Syntax angegeben werden:

Server Servername on|WOW! ZugriffRegex Zugriffsdatei errorRegex Fehlerdatei

Die Servername muss für jeden Server eindeutig sein und ist der Name, der der Instanz gegeben wird für
die zugehörigen Leistungsmetriken. Siehe PMAPI(3) zur Diskussion der PCP-Instanz
Domänen. Die on or WOW! Flag gibt an, ob der Server überwacht werden soll, wenn der PMDA
installiert ist. Dies kann dynamisch geändert werden durch pmstore(1) für die Metrik
web.perserver.watched, das für jeden in genannten Webserver eine Instanz hat Konfigurationsdatei.

Für jeden Webserver werden zwei Dateien überwacht: das Zugriffs- und das Fehlerprotokoll. Jede Datei
erfordert den Namen eines zuvor deklarierten regulären Ausdrucks und einen Dateinamen. Das Protokoll
Die für jeden Server angegebenen Dateien müssen bei der Installation des Weblog-PMDA nicht vorhanden sein.
Der PMDA sucht weiterhin nach nicht vorhandenen Protokolldateien und öffnet diese, wenn möglich.
Einige rechtliche Serverspezifikationen sind:

# Netscape-Server auf Port 80 mit der IP-Adresse 127.55.555.555
Server 127.55.555.555:80 auf CERN /logs/access CERN_err /logs/errors

# FTP-Server.
Server-Ftpd auf SYSLOG_FTP /var/log/messages SYSLOG_FTP_err /var/log/messages

VORSICHTEN

Die Angabe regulärer Ausdrücke mit einer falschen Anzahl von Argumenten, alles andere als
2 für Zugriffsprotokolle und keine für Fehlerprotokolle können zu fehlerhaftem Verhalten des PMDA führen und
sogar abstürzen. Dies liegt an Einschränkungen in der Schnittstelle von Regex(3).

Verwenden Sie pmdaweblog online mit den Diensten von onworks.net