mailfoot - Online in de cloud

PROGRAMMA:

NAAM

mailfoot - een volledig online bestelde trainingssimulator voor gebruik met dbacl.

KORTE INHOUD

postvoet commando [ command_argumenten ]

PRODUCTBESCHRIJVING

postvoet automatiseert de taak van het testen van e-mailfiltering en classificatieprogramma's zoals:
dbacl(1). Gegeven een reeks gecategoriseerde documenten, initieert mailfoot testruns om een ​​schatting te maken
de classificatiefouten en daardoor de fijnafstemming van de parameters van de
classificeerder.

Volledige online bestelde training is een leermethode voor e-mailclassifiers waarbij elk
inkomende e-mail wordt geleerd zodra deze binnenkomt, waardoor de categorie altijd behouden blijft
beschrijvingen up-to-date voor de volgende classificatie. Dit modelleert rechtstreeks de manier waarop dat gebeurt
In de praktijk worden enkele e-mailclassifiers gebruikt.

De foutenpercentages van FOOT zijn rechtstreeks afhankelijk van de volgorde waarin e-mails worden bekeken. Een kleine verandering
bij het bestellen, zoals kan gebeuren als gevolg van netwerkvertragingen, kan van invloed zijn op het aantal
verkeerde classificaties. Vervolgens, postvoet levert geen betekenisvolle resultaten op, tenzij de
voorbeeld-e-mails worden zorgvuldig gekozen. Deze methode wordt echter vaak gebruikt door spam
filters, het is nog steeds de moeite waard om te berekenen om vergelijkingen te bevorderen. Andere methoden (zie
mailcross(1)mailtoe(1)) proberen het gedrag van classificatiefouten vast te leggen in
andere manieren.

Om de berekening van het foutenpercentage te verbeteren en te stabiliseren, postvoet voert de VOET uit
simulaties meerdere malen op enigszins opnieuw geordende e-mailstromen, en gemiddelden van de resultaten.
De herschikkingen vinden plaats door de e-mails van elke categorie-mailbox willekeurig te multiplexen
volgorde. Als er dus drie categorieën zijn, wordt de eerste geclassificeerde e-mail willekeurig gekozen
vanaf de voorkant van de voorbeeld-e-mailstreams van elk type. Er wordt ook gekozen voor de tweede e-mail
willekeurig tussen de drie typen, vanaf de voorkant van de
streams nadat de eerste e-mail is verwijderd. Simulatie stopt wanneer alle monsterstromen zijn
uitgeput.

postvoet gebruikt de omgevingsvariabele MAILFOOT_FILTER bij het uitvoeren, waardoor de
simulatie van willekeurige filters, mits deze voldoen aan de compatibiliteitsvoorwaarden
vermeld in het gedeelte MILIEU hieronder.

Voor het gemak, postvoet implementeert een test pak framework met voorgedefinieerde wrappers voor
verschillende open source classificaties. Dit maakt de directe vergelijking van dbacl(1) met
concurrerende classifiers op dezelfde set e-mailvoorbeelden. Zie het gedeelte GEBRUIK hieronder.

Tijdens de voorbereiding, postvoet bouwt een submap met de naam mailfoot.d in de huidige werking
map. Alle benodigde berekeningen worden in deze submap uitgevoerd.

EXIT STATUS

postvoet geeft 0 terug bij succes, 1 als er een probleem is opgetreden.

COMMANDO'S

voorbereiden lengte van de duwkabel
Bereidt een submap voor met de naam mailfoot.d in de huidige werkmap, en
vult het met lege submappen voor precies lengte van de duwkabel deelverzamelingen.

toevoegen categorie [ FILE ] ...
Neemt een reeks e-mails van BESTAND, indien opgegeven, of STDIN, en koppelt deze
with categorie. Het bestellen van e-mails binnen FILE wordt bewaard, en de daaropvolgende
FILEs worden toegevoegd aan de eerste in elke categorie. Deze opdracht kan worden herhaald
meerdere keren, maar moet minstens één keer worden uitgevoerd.

schoon Verwijdert de map mailfoot.d en de gehele inhoud ervan.

lopen Multiplext willekeurig uit de eerder toegevoegde e-mailstromen en leert categorieën opnieuw
alleen als er een misclassificatie optreedt. De simulatie wordt herhaald lengte van de duwkabel tijden.

samenvatten
Drukt gemiddelde foutenpercentages af voor de simulaties.

perceel [ ps | logschaal ] ...
Plot het aantal fouten over de simulatietijd. De optie "ps", indien aanwezig,
schrijft de plot naar een postscriptbestand in de map mailfoot/plots, in plaats van
op het scherm wordt getoond. De "logscale" optie, indien aanwezig, zorgt ervoor dat de plot aan staat
de logschaal voor beide ordinaten.

beoordelen echte kat predkat
Scant de laatste run-statistieken en extraheert alle berichten die behoren tot
categorie echte kat maar zijn ingedeeld in categorie predkat. de geëxtraheerde
berichten worden gekopieerd naar de directory mailfoot.d/review voor inzage.

test pak lijst
Toont een lijst met beschikbare filters/wrapperscripts die kunnen worden geselecteerd.

test pak kiezen [ FILTER ] ...
Bereidt de filter(s) voor met de naam FILTER te gebruiken voor simulatie. De filternaam is
de naam van een wrapper-script dat zich in de map bevindt /usr/share/dbacl/testsuite.
Elk filter heeft een rigide interface die hieronder wordt gedocumenteerd, en de handeling van het selecteren ervan
kopieert het naar de mailfoot.d/filters map. Alleen filters die zich daar bevinden, worden gebruikt
in de simulaties.

test pak deselecteren [ FILTER ] ...
Verwijdert de genoemde filter(s) uit de directory mailfoot.d/filters zodat ze zijn
niet gebruikt in de simulatie.

test pak lopen [ percelen ]
Roept elk geselecteerd filter op de eerder toegevoegde datasets op en berekent
misclassificatie tarieven. Als de optie "plots" aanwezig is, zal elke filtersimulatie
wordt geplot als een postscript-bestand in de map mailfoot.d/plots.

test pak toestand
Beschrijft de geplande simulaties.

test pak samenvatten
Toont de kruisvalidatieresultaten voor alle filters. Heeft pas zin na de lopen
opdracht.

GEBRUIK

Het normale gebruikspatroon is als volgt: eerst moet u uw e-mail scheiden
verzameling in verschillende categorieën (handmatig of anderszins). Elke categorie zou moeten zijn:
gekoppeld aan een of meer mappen, maar elke map mag er niet meer dan één bevatten
categorie. Vervolgens moet u beslissen hoeveel runs u wilt gebruiken, bijvoorbeeld 10. Hoe meer runs u gebruikt,
hoe beter de voorspelde foutenpercentages. Meer runs nemen echter meer tijd in beslag. Nu kun je typen

% mailfoot voorbereiden 10

Vervolgens moet u voor elke categorie elke map toevoegen die aan deze categorie is gekoppeld. Veronderstellen
je hebt drie categorieën met de naam spam, zelfstandigen spelen, die zijn gekoppeld aan de mbox
bestanden spam.mbox, werk.mboxen speel.mbox respectievelijk. je zou typen

% mailfoot voegt spam spam.mbox toe
% mailfoot voegt werk work.mbox toe
% mailfoot voeg play play.mbox toe

U moet streven naar een vergelijkbaar aantal e-mails in elke categorie, als de willekeurige multiplexing
anders uit balans raken. De volgorde van de e-mailberichten in elk *.mbox bestand is
belangrijk, en blijft behouden tijdens elke simulatie. Als u herhaaldelijk aan hetzelfde toevoegt
categorie, worden de latere mailboxen aan de eerste toegevoegd, met behoud van de impliciete
bestellen.

U kunt nu zoveel FOOT-simulaties uitvoeren als u wilt. De gemultiplexte e-mails zijn
geclassificeerd en één voor één geleerd, door het commando uit te voeren dat in de omgeving is gegeven
variabele MAILFOOT_FILTER. Indien niet ingesteld, wordt een standaardwaarde gebruikt.

% mailfoot-run
% mailfoot samengevat

De testsuite-opdrachten zijn ontworpen om de bovenstaande stappen te vereenvoudigen en vergelijking van a
breed scala aan e-mailclassificaties, inclusief maar niet beperkt tot: dbacl. Classificaties zijn
ondersteund door wrapper-scripts, die zich in de /usr/share/dbacl/testsuite
directory.

De eerste stap bij het gebruik van de testsuite is om te beslissen welke classificaties u wilt vergelijken. Jij
kan een lijst met beschikbare wrappers bekijken door te typen:

% mailfoot testsuitelijst

Merk op dat de wrapper-scripts NIET de daadwerkelijke e-mailclassificaties zijn, wat moet zijn
apart geïnstalleerd door uw systeembeheerder of anderszins. Zodra dit is gebeurd,
kan een of meer wrappers voor de simulatie selecteren door bijvoorbeeld te typen:

% mailfoot testsuite selecteer dbaclA-bestand

Als sommige van de geselecteerde classificaties niet op het systeem kunnen worden gevonden, worden ze niet geselecteerd.
Merk ook op dat sommige wrappers hardgecodeerde categorienamen kunnen hebben, bijv. als de classifier
ondersteunt alleen binaire classificatie. Let op de waarschuwingsberichten.

Het blijft alleen om de simulatie uit te voeren. Let op, dit kan lang duren (enkele uren
afhankelijk van de classificatie).

% mailfoot testsuite uitgevoerd
% mailfoot testsuite samengevat

Als u klaar bent, kunt u de werkbestanden, logbestanden enz. verwijderen door te typen

% mailfoot schoon

SCRIPT INTERFACE

postvoet test pak zorgt voor het leren en classificeren van uw voorbereide e-mailcorpora voor
elke geselecteerde classificatie. Aangezien classifiers zeer uiteenlopende interfaces hebben, is dit alleen:
mogelijk door die interfaces afzonderlijk in een standaardformulier te wikkelen dat kan worden gebruikt
by postvoet test pak.

Elk wrapper-script is een opdrachtregelprogramma dat een enkele opdracht accepteert gevolgd door nul
of meer optionele argumenten, in de standaardvorm:

wrapper commando [argument]...

Elk wrapper-script maakt ook op een goed gedefinieerde manier gebruik van STDIN en STDOUT. Als Nee
gedrag wordt beschreven, mag er geen output of input worden gebruikt. De mogelijke commando's zijn:
hieronder beschreven:

filter In dit geval wordt een enkele e-mail verwacht op STDIN en een lijst met categoriebestandsnamen
wordt verwacht in $2, $3, etc. Het script schrijft de categorienaam die overeenkomt met
de invoer-e-mail op STDOUT. Er is geen trailing newline vereist of verwacht.

leren In dit geval wordt een standaard mbox-stream verwacht op STDIN, terwijl een geschikte
categorie bestandsnaam wordt verwacht in $2. Er wordt geen uitvoer naar STDOUT geschreven.

clean In dit geval wordt een directory verwacht in $2, die wordt onderzocht op oude database
informatie. Als er oude databases worden gevonden, worden deze opgeschoond of opnieuw ingesteld. Geen uitvoer is
geschreven naar STDOUT.

beschrijven
IN dit geval wordt een enkele regel tekst naar STDOUT geschreven, waarin de filter's worden beschreven
functionaliteit. De lijn moet kort worden gehouden om te voorkomen dat de lijn op een
terminal.

bootstrap
In dit geval wordt een directory verwacht in $2. Het wrapper-script controleert eerst op
het bestaan ​​van de bijbehorende classificatie en andere vereisten. Als de cheque
succesvol is, wordt de wrapper gekloond naar de opgegeven directory. een beleefdheid
melding moet worden gegeven op STDOUT om succes of mislukking uit te drukken. Het is ook
toegestaan ​​om langere beschrijvingen voorbehouden te geven.

teen Gebruikt door mailtoe(1).

foot In dit geval wordt een lijst met categorieën verwacht in $3, $4, etc. Alles wat mogelijk is
categorie moet worden vermeld. Voorafgaand aan deze lijst wordt de echte categorie gegeven in $ 2.

MILIEU

Direct na het laden, postvoet leest het verborgen bestand .mailfootrc in de map $HOME, als
het bestaat, dus dit zou een goede plek zijn om aangepaste waarden voor de omgeving te definiëren
variabelen.

MAILFOOT_FILTER
Deze variabele bevat een shell-opdracht die herhaaldelijk moet worden uitgevoerd tijdens het draaien
fase. De opdracht zou een e-mailbericht op STDIN moeten accepteren en een resultaat moeten geven:
categorie naam. Op de opdrachtregel moet het ook eerst de ware categorie accepteren
naam, dan een lijst met alle mogelijke categoriebestandsnamen. Als de uitvoercategorie dat wel doet
niet overeenkomen met de ware categorie, dan wordt aangenomen dat de relevante categorieën zijn
stil bijgewerkt/opnieuw geleerd. Als MAILFOOT_FILTER niet gedefinieerd is, postvoet gebruikt een
standaardwaarde.

TEMPDI
Deze directory wordt geëxporteerd ten behoeve van wrapper-scripts. Scripts die nodig hebben
om tijdelijke bestanden te maken, moet u ze op de locatie plaatsen die is opgegeven in TEMPDIR.

OPMERKINGEN

De submap mailfoot.d kan behoorlijk groot worden. Het bevat een volledige kopie van de training
corpora, evenals leerbestanden voor lengte van de duwkabel keer alle toegevoegde categorieën, en verschillende
logboek bestanden.

VOET-simulaties voor dbacl(1) zijn heel, heel langzaam (orde n kwadraat) en zullen alles aankunnen
avond op te treden. Dit is niet eenvoudig te verbeteren.

WAARSCHUWING

Omdat de volgorde van e-mails binnen de toegevoegde mailboxen van belang is, is de geschatte fout
tarieven zijn niet goed gedefinieerd of zelfs zinvol in objectieve zin. Als de
voorbeeld-e-mails vertegenwoordigen een daadwerkelijke momentopname van de inkomende e-mail van een gebruiker, dan is de fout
tarieven zijn enigszins zinvol. De simulaties kunnen dan als alternatief worden geïnterpreteerd
realiteiten waar een bepaalde classifier de inkomende e-mail zou hebben onderschept.

BRON

De broncode voor de nieuwste versie van dit programma is beschikbaar op het volgende:
locaties:

http://www.lbreyer.com/gpl.html
http://dbacl.sourceforge.net

Gebruik mailfoot online met behulp van onworks.net-services