anomalie - Online in de cloud

PROGRAMMA:

NAAM

anomalie - detectie van afwijkende gegevens

KORTE INHOUD

afwijking [-h|--help] [-v|--versie] [-d|--details]
[-t|--drempel] [--min N] [--max N]
[-s|--stddev] [-n|--steekproef N] [-c|--coëfficiënt N]
[-q|--stil]
[-e|--voer PROGRAMMA uit]
[-p|--pid PID]

PRODUCTBESCHRIJVING

Anomalie kan afwijkende gegevens in een numerieke stroom detecteren. Om dit te doen, heeft anomalie nodig
om een ​​stroom numerieke gegevens te bekijken en een van de detectiemethoden toe te passen. Als er een afwijking is
gedetecteerd, wordt een reactie gegeven, gekozen uit een of meer ingebouwde methoden.

NUMERIEK STREAM

Anomalie werkt het beste in een pijp en leest alleen numerieke gegevens van de invoer. Als een simpele
Stel dat u het belastingsgemiddelde wilt controleren en wilt zoeken naar ongebruikelijke pieken. De lading
gemiddelde kan worden verkregen met het commando 'uptime':

$ beschikbaarheid
11:40 tot 15 dagen, 4:04, 6 gebruikers, gemiddelde belasting: 0.38 0.32 0.32

We kunnen de belasting van 5 minuten extraheren (het tweede van de drie cijfers) met behulp van dit:

$ beschikbaarheid | knippen -f 13 -d ' '
0.29

Dat nummer kan één keer per minuut worden geëxtraheerd met behulp van dit:

$ terwijl [ 1 ]; uptime doen | knippen -f 13 -d ' '; slaap 60; klaar
0.29
0.26
0.19

Dat is het soort gegevensstroom dat anomalie bewaakt. Witruimte (spaties, tabs,
newlines) tussen de nummers worden genegeerd, dus we kunnen de bovenstaande stream als volgt simuleren:

$echo 0.29 0.26 0.19

Dit is een handige manier om anomalie aan te tonen, zoals hieronder weergegeven.

OPSPORING - THRESHOLD

De eenvoudigste detectiemethode is de drempelwaarde, die de gegevens vergelijkt met een absolute waarde.
Deze methode kan een minimum- en een maximumwaarde gebruiken ter vergelijking. Deze alternatieven zijn
allemaal geldig, en gebruik --min, --max of beide:

afwijking --drempel --min 1.22 --max 9.75
anomalie --drempel --min 1.22
anomalie --threshold --max 9.75

In het volgende voorbeeld worden de waarden '1' en '10' gedetecteerd als anomalieën:

$ echo 2 1 3 6 10 5 | anomalie --drempel --min 1.5 --max 8
Afwijkende gegevens gedetecteerd. De waarde 1 ligt onder het minimum van 1.5.
Afwijkende gegevens gedetecteerd. De waarde 10 ligt boven het maximum van 8.

OPSPORING - STANDAARD AFWIJKING

Standaarddeviatie meet verschillen van de gemiddelde waarde van een steekproef van gegevens, en is
handig voor het detecteren van buitengewone waarden. De steekproefomvang kan zo worden gekozen dat er
is voldoende gegevens om een ​​goede gemiddelde waarde te bepalen, maar staat standaard op 10. De beperkte steekproef
grootte betekent dat een voortschrijdend gegevensvenster wordt gebruikt, en dus het gemiddelde en de standaard
afwijking wordt bijgewerkt voor het huidige venster. Dit maakt de monitoring enigszins adaptief.
Hier is een voorbeeld:

anomalie --stddev --sample 20

Dit gebruikt een steekproefomvang van de 20 meest recente waarden en detecteert alle waarden die dat zijn
+/- 1 standaarddeviatie van het gemiddelde. Een voorbeeld:

$ echo 1 2 3 4 5 6 | anomalie --stddev --sample 5
Afwijkende gegevens gedetecteerd. De waarde 6 is meer dan 1 sigma(s) boven de gemiddelde waarde
3, met een steekproefomvang van 5.

Met een steekproefomvang van 5, worden vergelijkingen pas gemaakt nadat de 6e waarde is gezien. In de
de gemiddelde waarde van [1 2 3 4 5] is bijvoorbeeld 3 en de standaarddeviatie is 1.58. Dit
betekent dat de 6e waarde als een afwijking wordt beschouwd als deze binnen het bereik ligt (3 +/- 1.58),
dat is tussen 1.42 en 4.58.

Om dit minder gevoelig te maken, wordt een coëfficiënt geïntroduceerd, die standaard op 1.0 staat (zoals hierboven)
maar kan worden overschreven:

$ echo 1 2 3 4 5 6 | anomalie --stddev --sample 5 --coëfficiënt 1.9
$

In dit voorbeeld wordt de 6e waarde niet als een afwijking beschouwd omdat deze binnen het bereik valt
(3 +/- (1.9 * 1.58)), wat tussen -0.002 en 6.002 ligt.

REACTIE - BERICHT

Het berichtantwoord is de standaard en bestaat uit een enkele regel gedrukte tekst. Het is
een beschrijving waarom de gegevenswaarde als een anomalie wordt beschouwd. Hier is een voorbeeld:

$echo 1 2 3 | anomalie --drempel --max 2.5
Afwijkende gegevens gedetecteerd. De waarde 3 ligt boven het maximum van 2.5.

Het bericht kan worden onderdrukt, maar er moet een ander antwoord worden opgegeven, zodat dat er is
een soort reactie:

$echo 1 2 3 | anomalie --threshold --max 2.5 --stil ...

REACTIE - UITVOEREN

Anomalie kan een programma uitvoeren als reactie op detectie. Hier gebruikt een voorbeeld de 'datum'
opdracht, maar elk programma kan worden gebruikt:

$echo 1 2 3 | anomalie --threshold --max 2.5 --quiet --execute '/bin/datum +%s'
1361727327

REACTIE - SIGNAAL

Anomalie kan een USR1-signaal naar een programma sturen als reactie op detectie:

$echo 1 2 3 | anomalie --threshold --max 2.5 --stil --pid 12345

Dit stuurt het USR1-signaal naar het proces met PID 12345. Het ontvangende programma zou dat doen
dienovereenkomstig moeten reageren.

CREDITS & AUTEURSRECHTEN

Copyright (C) 2013 Göteborg Bitfabriek.

Anomaly wordt gedistribueerd onder de MIT-licentie. Zien http://www.opensource.org/licenses/mit-
licentie.php voor meer informatie.

Gebruik anomalie online met behulp van onworks.net-services