mailfoot – Online in der Cloud

PROGRAMM:

NAME/FUNKTION

mailfoot – ein vollständig online bestellbarer Trainingssimulator zur Verwendung mit dbacl.

ZUSAMMENFASSUNG

Postfuß Befehl [ Befehl_Argumente ]

BESCHREIBUNG

Postfuß automatisiert die Aufgabe, E-Mail-Filter- und Klassifizierungsprogramme wie zu testen
dbac(1). Ausgehend von einer Reihe kategorisierter Dokumente initiiert Mailfoot Testläufe zur Schätzung
die Klassifizierungsfehler und ermöglichen dadurch eine Feinabstimmung der Parameter des
Klassifizierer.

Das vollständige online bestellte Training ist eine Lernmethode für E-Mail-Klassifizierer, bei der jeder
Eingehende E-Mails werden erkannt, sobald sie eintreffen, sodass die Kategorie stets erhalten bleibt
Beschreibungen für die nächste Klassifizierung auf den neuesten Stand bringen. Dies modelliert direkt die Art und Weise, wie das geschieht
Einige E-Mail-Klassifikatoren werden in der Praxis verwendet.

Die Fehlerraten von FOOT hängen direkt von der Reihenfolge ab, in der E-Mails gesehen werden. Eine kleine Änderung
Bei der Bestellung, wie sie aufgrund von Netzwerkverzögerungen auftreten kann, kann sich dies auf die Anzahl auswirken
Fehlklassifizierungen. Folglich, Postfuß liefert keine aussagekräftigen Ergebnisse, es sei denn, die
Beispiel-E-Mails werden sorgfältig ausgewählt. Da diese Methode jedoch häufig von Spam-Mails verwendet wird
Filter lohnt es sich dennoch, Berechnungen durchzuführen, um Vergleiche zu ermöglichen. Andere Methoden (siehe
Mailcross(1)Mailtoe(1)) Versuchen Sie, das Verhalten von Klassifizierungsfehlern zu erfassen
andere Möglichkeiten.

Um die Fehlerratenberechnung zu verbessern und zu stabilisieren, Postfuß führt den FUSS aus
führt mehrere Simulationen an leicht neu geordneten E-Mail-Streams durch und ermittelt den Durchschnitt der Ergebnisse.
Die Neuordnung erfolgt durch zufälliges Multiplexen der E-Mails aus den Postfächern jeder Kategorie
Befehl. Wenn es also drei Kategorien gibt, wird die erste klassifizierte E-Mail zufällig ausgewählt
von der Vorderseite der Beispiel-E-Mail-Streams jedes Typs. Die zweite E-Mail wird ebenfalls ausgewählt
zufällig zwischen den drei Typen, von der Vorderseite des
Streams, nachdem die erste E-Mail entfernt wurde. Die Simulation stoppt, wenn alle Probenströme vorhanden sind
erschöpft.

Postfuß verwendet bei der Ausführung die Umgebungsvariable MAILFOOT_FILTER, die dies ermöglicht
Simulation beliebiger Filter, sofern diese die Kompatibilitätsbedingungen erfüllen
unten im Abschnitt UMWELT angegeben.

Zur Bequemlichkeit, Postfuß implementiert a Testsuite Framework mit vordefinierten Wrappern für
mehrere Open-Source-Klassifikatoren. Dies ermöglicht den direkten Vergleich von dbac(1) mit
konkurrierende Klassifikatoren für denselben Satz von E-Mail-Beispielen. Siehe den Abschnitt VERWENDUNG unten.

Während der Vorbereitung, Postfuß erstellt im aktuellen Arbeitsverzeichnis ein Unterverzeichnis mit dem Namen mailfoot.d
Verzeichnis. Alle erforderlichen Berechnungen werden in diesem Unterverzeichnis durchgeführt.

EXIT STATUS

Postfuß gibt 0 bei Erfolg zurück, 1 wenn ein Problem aufgetreten ist.

BEFEHLE

vorbereiten Größe
Bereitet ein Unterverzeichnis namens mailfoot.d im aktuellen Arbeitsverzeichnis vor und
füllt es mit leeren Unterverzeichnissen für genau Größe Teilmengen.

hinzufügen Kategorie [ FILE ] ...
Nimmt eine Reihe von E-Mails entweder aus DATEI, falls angegeben, oder aus STDIN und ordnet sie zu.
mit Kategorie. Die Reihenfolge der E-Mails innerhalb FILE bleibt erhalten, und nachfolgend
FILEs werden in jeder Kategorie an die erste angehängt. Dieser Befehl kann wiederholt werden
mehrmals, sollte aber mindestens einmal ausgeführt werden.

reinigen Löscht das Verzeichnis mailfoot.d und seinen gesamten Inhalt.

Lauf Multiplext zufällig aus den zuvor hinzugefügten E-Mail-Streams und lernt Kategorien neu
nur, wenn eine Fehlklassifizierung auftritt. Die Simulation wird wiederholt Größe Zeiten.

zusammenfassen
Gibt die durchschnittlichen Fehlerraten für die Simulationen aus.

Grundstück [ ps | logarithmische Darstellung ] ...
Zeigt die Anzahl der Fehler über der Simulationszeit an. Die Option „ps“, falls vorhanden,
schreibt den Plot stattdessen in eine Postscript-Datei im Verzeichnis mailfoot/plots
auf dem Bildschirm angezeigt wird. Wenn die Option „logscale“ vorhanden ist, wird die Darstellung aktiviert
die logarithmische Skala für beide Ordinaten.

Überprüfen wahre Katze Predcat
Scannt die letzten Laufstatistiken und extrahiert alle zugehörigen Nachrichten
Kategorie wahre Katze wurden aber in eine Kategorie eingeordnet Predcat. Das extrahierte
Nachrichten werden in das Verzeichnis kopiert mailfoot.d/review zur Durchsicht.

Testsuite Liste
Zeigt eine Liste der verfügbaren Filter/Wrapper-Skripte an, die ausgewählt werden können.

Testsuite wählen [ FILTER ] ...
Bereitet den/die benannten Filter vor FILTER zur Simulation verwendet werden. Der Filtername ist
der Name eines Wrapper-Skripts, das sich im Verzeichnis befindet /usr/share/dbacl/testsuite.
Jeder Filter hat eine starre Schnittstelle, die unten dokumentiert ist, und der Vorgang, ihn auszuwählen
kopiert es in die mailfoot.d/filters Verzeichnis. Es werden nur dort befindliche Filter verwendet
bei den Simulationen.

Testsuite Abwählen [ FILTER ] ...
Entfernt den/die benannten Filter aus dem Verzeichnis mailfoot.d/filters damit sie sind
wird in der Simulation nicht verwendet.

Testsuite Lauf [ Grundstücke ]
Ruft jeden ausgewählten Filter für die zuvor hinzugefügten Datensätze auf und berechnet
Fehlklassifizierungsraten. Wenn die Option „Plots“ vorhanden ist, wird jede Filtersimulation durchgeführt
wird als Postscript-Datei im Verzeichnis geplottet mailfoot.d/plots.

Testsuite Status
Beschreibt die geplanten Simulationen.

Testsuite zusammenfassen
Zeigt die Kreuzvalidierungsergebnisse für alle Filter an. Macht erst Sinn nach dem Lauf
Befehl.

ANWENDUNG

Das normale Nutzungsmuster ist wie folgt: Zuerst sollten Sie Ihre E-Mail trennen
Sammlung in mehrere Kategorien (manuell oder anderweitig). Jede Kategorie sollte sein
einem oder mehreren Ordnern zugeordnet, aber jeder Ordner sollte nicht mehr als einen enthalten
Kategorie. Als nächstes sollten Sie entscheiden, wie viele Läufe Sie verwenden möchten, beispielsweise 10. Je mehr Läufe Sie verwenden,
desto besser sind die vorhergesagten Fehlerraten. Allerdings nehmen mehr Läufe mehr Zeit in Anspruch. Jetzt können Sie tippen

% Mailfoot vorbereiten 10

Als nächstes müssen Sie für jede Kategorie jeden dieser Kategorie zugeordneten Ordner hinzufügen. Vermuten
Sie haben drei Kategorien benannt Spam, Arbeit und Spiel & Sport, die mit der mbox verknüpft sind
Dateien spam.mbox, Arbeit.mbox und play.mbox bzw. Du würdest tippen

% mailfoot fügt Spam spam.mbox hinzu
% mailfoot add work work.mbox
% mailfoot add play play.mbox

Sie sollten eine ähnliche Anzahl von E-Mails in jeder Kategorie anstreben, wie beim zufälligen Multiplexen
wird sonst aus dem Gleichgewicht geraten. Die Reihenfolge der E-Mail-Nachrichten in jedem *.mbox Datei ist
wichtig und bleibt bei jeder Simulation erhalten. Wenn Sie wiederholt dasselbe hinzufügen
Kategorie werden die späteren Postfächer an das erste angehängt, wobei das Implizierte erhalten bleibt
Bestellung.

Sie können nun beliebig viele FOOT-Simulationen durchführen. Die gemultiplexten E-Mails sind
nacheinander klassifiziert und gelernt, indem der in der Umgebung gegebene Befehl ausgeführt wird
Variable MAILFOOT_FILTER. Wenn nicht festgelegt, wird ein Standardwert verwendet.

% Mailfoot-Lauf
% Mailfoot Zusammenfassung

Die Testsuite-Befehle wurden entwickelt, um die obigen Schritte zu vereinfachen und den Vergleich von a
breite Palette von E-Mail-Klassifikatoren, einschließlich, aber nicht beschränkt auf dbac. Klassifikatoren sind
unterstützt durch Wrapper-Skripte, die sich im /usr/share/dbacl/testsuite
Verzeichnis.

Der erste Schritt bei der Verwendung der Testsuite ist die Entscheidung, welche Klassifikatoren verglichen werden sollen. Du
kann eine Liste der verfügbaren Wrapper anzeigen, indem Sie Folgendes eingeben:

% Mailfoot-Testsuite-Liste

Beachten Sie, dass die Wrapper-Skripte NICHT die tatsächlichen E-Mail-Klassifizierer sind, die sein müssen
separat von Ihrem Systemadministrator oder auf andere Weise installiert werden. Sobald dies erledigt ist,
können einen oder mehrere Wrapper für die Simulation auswählen, indem Sie beispielsweise Folgendes eingeben:

% mailfoot testsuite select dbaclA ifile

Wenn einige der ausgewählten Klassifikatoren im System nicht gefunden werden können, werden sie nicht ausgewählt.
Beachten Sie auch, dass einige Wrapper hartcodierte Kategorienamen haben können, z. B. wenn der Klassifikator
unterstützt nur binäre Klassifizierung. Beachten Sie die Warnhinweise.

Es bleibt nur die Simulation auszuführen. Achtung, dies kann lange dauern (mehrere Stunden
je nach Klassifikator).

% Mailfoot-Testsuite ausgeführt
Zusammenfassung der % Mailfoot-Testsuite

Sobald Sie fertig sind, können Sie die Arbeitsdateien, Protokolldateien usw. durch Eingabe löschen

% Mailfoot sauber

SCRIPT INTERFACE

Postfuß Testsuite kümmert sich um das Lernen und Klassifizieren Ihrer vorbereiteten E-Mail-Korpora für
jeder ausgewählte Klassifikator. Da Klassifikatoren sehr unterschiedliche Schnittstellen haben, ist dies nur
möglich, indem diese Schnittstellen einzeln in ein verwendbares Standardformular verpackt werden
by Postfuß Testsuite.

Jedes Wrapper-Skript ist ein Befehlszeilentool, das einen einzelnen Befehl akzeptiert, gefolgt von einer Null
oder mehr optionale Argumente in der Standardform:

Wrapper-Befehl [Argument]...

Jedes Wrapper-Skript verwendet auch STDIN und STDOUT auf genau definierte Weise. Wenn nein
Verhalten beschrieben ist, sollte kein Ausgang oder Eingang verwendet werden. Die möglichen Befehle sind
nachstehend beschrieben:

filter In diesem Fall wird eine einzelne E-Mail auf STDIN erwartet und eine Liste von Kategorie-Dateinamen
wird in $2, $3 usw. erwartet. Das Skript schreibt den Kategorienamen entsprechend
die eingegebene E-Mail auf STDOUT. Es ist kein abschließender Zeilenumbruch erforderlich oder erwartet.

In diesem Fall wird auf STDIN ein Standard-Mbox-Stream erwartet, während ein geeigneter
Der Dateiname der Kategorie wird in $2 erwartet. Auf STDOUT wird keine Ausgabe geschrieben.

clean In diesem Fall wird ein Verzeichnis in $2 erwartet, das auf alte Datenbank untersucht wird
Information. Wenn alte Datenbanken gefunden werden, werden sie gelöscht oder zurückgesetzt. Keine Ausgabe ist
in STDOUT geschrieben.

beschreiben
In diesem Fall wird eine einzelne Textzeile in STDOUT geschrieben, die die Filterfunktionen beschreibt
Funktionalität. Die Zeile sollte kurz gehalten werden, um Zeilenumbrüche auf a . zu vermeiden
Terminal.

bootstrap
In diesem Fall wird ein Verzeichnis in $2 erwartet. Das Wrapper-Skript sucht zuerst nach
die Existenz des zugehörigen Klassifikators und andere Voraussetzungen. Wenn der Scheck
erfolgreich ist, wird der Wrapper in das angegebene Verzeichnis geklont. Eine Höflichkeit
Benachrichtigung sollte auf STDOUT erfolgen, um Erfolg oder Misserfolg auszudrücken. Es ist auch
zulässig, längere Beschreibungen Vorbehalte zu geben.

Zehe Verwendet von Mailtoe(1).

Fuß In diesem Fall wird eine Liste von Kategorien in $3, $4 usw. erwartet. Alles mögliche
Kategorie muss aufgeführt werden. Vor dieser Liste wird die wahre Kategorie in $2 angegeben.

Direkt nach dem Laden, Postfuß liest die versteckte Datei .mailfootrc im $HOME-Verzeichnis, wenn
Es existiert, daher wäre dies ein guter Ort, um benutzerdefinierte Werte für die Umgebung zu definieren
Variablen.

MAILFOOT_FILTER
Diese Variable enthält einen Shell-Befehl, der während der Ausführung wiederholt ausgeführt werden soll
Bühne. Der Befehl sollte eine E-Mail-Nachricht auf STDIN akzeptieren und ein Ergebnis ausgeben
Kategoriename. Auf der Kommandozeile sollte es auch zunächst die wahre Kategorie akzeptieren
Name, dann eine Liste aller möglichen Kategoriedateinamen. Wenn die Ausgabekategorie dies tut
nicht mit der wahren Kategorie übereinstimmen, wird davon ausgegangen, dass es sich um die entsprechenden Kategorien handelt
stillschweigend aktualisiert/neu gelernt. Wenn MAILFOOT_FILTER undefiniert ist, Postfuß verwendet ein
Standardwert.

TEMPDIR
Dieses Verzeichnis wird zugunsten von Wrapper-Skripten exportiert. Skripte die brauchen
Um temporäre Dateien zu erstellen, sollten Sie diese an dem in TEMPDIR angegebenen Ort ablegen.

ANMERKUNG

Das Unterverzeichnis mailfoot.d kann recht groß werden. Es enthält eine vollständige Kopie der Schulung
Korpora sowie Lerndateien für Größe mal alle hinzugefügten Kategorien und verschiedene
Protokolldateien.

FOOT-Simulationen für dbac(1) sind sehr, sehr langsam (Ordnung n im Quadrat) und nehmen alle
Nacht zum Auftritt. Das lässt sich nicht einfach verbessern.

WARNUNG

Da die Reihenfolge der E-Mails in den hinzugefügten Postfächern von Bedeutung ist, ist der geschätzte Fehler
Die Zinssätze sind weder genau definiert noch im objektiven Sinne aussagekräftig. Wenn jedoch die
Beispiel-E-Mails stellen eine tatsächliche Momentaufnahme der eingehenden E-Mail eines Benutzers und dann den Fehler dar
Die Preise sind einigermaßen aussagekräftig. Die Simulationen können dann als alternativ interpretiert werden
Realitäten, in denen ein bestimmter Klassifikator die eingehende E-Mail abgefangen hätte.

SOURCE

Der Quellcode für die neueste Version dieses Programms ist unter folgendem verfügbar
Standorte:

http://www.lbreyer.com/gpl.html
http://dbacl.sourceforge.net

Nutzen Sie Mailfoot online über die Dienste von onworks.net