dbacl - Online in de cloud

PROGRAMMA:

NAAM

dbacl - een grafische Bayesiaanse classificatie voor tekstherkenning.

KORTE INHOUD

dbacl [-01dvnirmwMNDXW] [-T type dan: ] -l categorie [-H grootte] [-H gmaat] [-X decimaal] [-Q
kwaliteit] [-w max_bestelling] [-e behendig] [-O online.] [-L maatregel] [-G regex] ...
[HET DOSSIER]...

dbacl [-vnimNRX] [-h grootte] [-T type] -c categorie [-C categorie]... [-F houden]... [HET DOSSIER]...

dbacl -V

Overzicht

dbacl is een Bayesiaanse tekst- en e-mailclassificator. Bij gebruik van de -l schakelaar, het leert een lichaam
van tekst en maak een bestand met de naam categorie die de tekst samenvat. Bij gebruik van de -c
schakelaar, vergelijkt het een invoertekststroom met een willekeurig aantal categorie bestanden en uitvoer
de naam van de dichtstbijzijnde match, of eventueel verschillende numerieke scores die hieronder worden uitgelegd.

Hoewel deze handleiding bedoeld is als naslagwerk, zijn er diverse tutorials en
documenten die u kunt lezen om gespecialiseerde informatie te verkrijgen. Specifieke documentatie over de
ontwerp van dbacl en de statistische modellen die het gebruikt zijn te vinden in dbacl.ps. Voor een
basisoverzicht van tekstclassificatie met behulp van dbacl, zie tutorial.html. Een begeleidende tutorial
gericht op e-mailfiltering is email.html. Als u problemen ondervindt bij het verkrijgen van dbacl naar
betrouwbaar classificeren, lees is_it_working.html. Ook het GEBRUIK-gedeelte van deze handleidingpagina
heeft enkele voorbeelden.

/usr/share/doc/dbacl/dbacl.ps

/usr/share/doc/dbacl/tutorial.html

/usr/share/doc/dbacl/email.html

/usr/share/doc/dbacl/is_it_working.html

dbacl gebruikt een taalmodel met maximale entropie (minimale divergentie) dat met respect is opgebouwd
naar een digramische referentiemaat (onbekende tokens worden voorspeld op basis van digrammen, dat wil zeggen paren van
brieven). In de praktijk betekent dit dat a categorie is opgebouwd uit tokens in de
trainingsset, terwijl voorheen onzichtbare tokens automatisch kunnen worden voorspeld op basis van hun
brieven. Een token is hier een woord (fragment) of een combinatie van woorden (fragmenten),
geselecteerd volgens verschillende schakelaars. Leren werkt grofweg door het token aan te passen
waarschijnlijkheden totdat de trainingsgegevens het minst verrassend zijn.

EXIT STATUS

De normale shell-exitconventies worden niet gevolgd (sorry!). Bij gebruik van de -l commando
het formulier, dbacl retourneert nul bij succes, niet nul als er een fout optreedt. Bij gebruik van de -c het formulier,
dbacl retourneert een positief geheel getal dat overeenkomt met de categorie met de hoogste achterkant
waarschijnlijkheid. Bij gelijke stand wordt de eerste meest waarschijnlijke categorie gekozen. Als er een fout is
gebeurt, dbacl retourneert nul.

PRODUCTBESCHRIJVING

Bij gebruik van het -l opdrachtformulier, dbacl leert een categorie wanneer deze een of meer BESTANDsnamen krijgt,
die leesbare ASCII-tekst moet bevatten. Als er geen BESTAND is opgegeven, dbacl leert van STDIN. Als
FILE is een map, deze wordt geopend en alle bestanden worden gelezen, maar niet de submappen.
Het resultaat wordt opgeslagen in het binaire bestand met de naam categorie, en vervangt alle
vorige inhoud. Voor het gemak: als de omgevingsvariabele DBACL_PATH een
directory, dan wordt dat voorafgegaan door het bestandspad, tenzij categorie begint met een '/' of een
'.'.

Er wordt standaard aangenomen dat de invoertekst voor het leren ongestructureerde platte tekst is. Dit is
niet geschikt voor het leren van e-mail, omdat e-mail verschillende transportcoderingen bevat en
opmaakinstructies die de effectiviteit van de classificatie kunnen verminderen. Je moet gebruik maken van de -T
schakel dan zo dat dbacl weet dat het de decodering en filtering van MIME moet uitvoeren
en HTML indien van toepassing. Geschikte schakelwaarden zijn "-T email" voor RFC2822 e-mailinvoer,
"-T html" voor HTML-invoer, "-T xml" voor algemene invoer in XML-stijl en "-T tekst" is de
standaardindeling voor platte tekst. Er zijn andere waarden van de -T schakelaar die ook prima toestaat
afstemmen van de decoderingsmogelijkheden.

Bij gebruik van het -c opdrachtformulier, dbacl probeert de tekst in FILE te classificeren, of
STDIN als er geen BESTAND is opgegeven. Elk mogelijk categorie moet afzonderlijk worden gegeven, en dat zou ook zo moeten zijn
de bestandsnaam van een eerder geleerd tekstcorpus. Voor het gemak, als de variabele
DBACL_PATH bevat een map, deze wordt toegevoegd aan elk bestandspad dat niet start
met een '/' of een '.'. De zichtbare output van de classificatie is afhankelijk van de combinatie
van extra schakelaars gebruikt. Als er geen schakelaar wordt gebruikt, wordt er geen uitgang weergegeven op STDOUT. Echter,
dbacl levert altijd een exitcode op die kan worden getest.

Om een ​​uitvoer voor een classificatie te zien, moet u ten minste één van de volgende gebruiken -v,-U,-n,-N,-D,-d
schakelaars. Soms kunnen ze in combinatie worden gebruikt om een ​​natuurlijke variatie te creëren
hun individuele outputs. Soms, dbacl produceert ook waarschuwingen over STDERR, indien van toepassing.

De -v schakelaar geeft de naam van de beste categorie uit alle gegeven keuzes weer.

De -U schakelaar geeft de naam van de beste categorie weer, gevolgd door een betrouwbaarheidspercentage.
Normaal gesproken is dit de schakelaar die u wilt gebruiken. Een percentage van 100% betekent dat dbacl
zeker is van zijn keuze, terwijl een percentage van 0% betekent dat een andere categorie dat ook is
waarschijnlijk. Dit is niet de modelwaarschijnlijkheid, maar meet hoe eenduidig ​​de classificatie is
is, en kan worden gebruikt om onzekere classificaties te markeren (bijvoorbeeld als het vertrouwen 25% of minder is).

De -N schakelaar drukt elke categorienaam af, gevolgd door de (posterieure) waarschijnlijkheid ervan, uitgedrukt
als percentage. De percentages tellen altijd op tot 100%. Dit is intuïtief, maar alleen waardevol
als het geclassificeerde document een handvol tokens bevat (tien of minder). In het gemeenschappelijke
Als er veel meer tokens zijn, liggen de kansen altijd extreem dicht bij 100% en 0%.

De -n Met schakelaar wordt elke categorienaam afgedrukt, gevolgd door de negatieve logaritme ervan
waarschijnlijkheid. Dit komt overeen met het gebruik van de -N schakelaar, maar veel nuttiger. Het kleinste
nummer geeft de beste categorie. Een handiger vorm is om beide te gebruiken -n en -v welke
drukt elke categorienaam af, gevolgd door de kruisentropie en het aantal geanalyseerde tokens.
De kruisentropie meet (in bits) de gemiddelde compressiesnelheid die haalbaar is,
onder het gegeven categoriemodel, per token invoertekst. Als je ze alle drie gebruikt -n,-v,-X
vervolgens wordt voor elke categorie een extra waarde uitgevoerd, die voor elke categorie een soort p-waarde vertegenwoordigt
categoriescore. Dit geeft aan hoe typisch de score is vergeleken met de training
documenten, maar werkt alleen als de -X schakelaar werd gebruikt tijdens het leren, en alleen voor sommigen
soorten modellen (bijvoorbeeld e-mail). Deze p-waarden zijn uniform verdeeld en onafhankelijk
(als de categorieën onafhankelijk zijn), dus kan worden gecombineerd met behulp van Fisher's chi-kwadraattoets
samengestelde p-waarden verkrijgen voor groeperingen van categorieën.

De -v en -X schakelaars samen drukken elke categorienaam af, gevolgd door een gedetailleerd overzicht
ontleding van de categoriescore, verwerkt in (divergentiepercentage + shannon-entropie
tarief )* aantal tokens @ p-waarde. Nogmaals, dit werkt alleen in sommige soorten modellen.

De -v en -U schakelaars drukken elke categorienaam af, gevolgd door een ontleding van de
categoriescore in (divergentiepercentage + shannon-entropiepercentage # scorevariantie)* token
tellen.

De -D switch drukt de invoertekst af zoals intern gewijzigd door dbacl voor
tokenisatie. Als bijvoorbeeld een MIME-gecodeerd e-maildocument wordt geclassificeerd, dan geldt dit
drukt de gedecodeerde tekst af die daadwerkelijk wordt getokeniseerd en geclassificeerd. Deze schakelaar is
vooral handig voor het debuggen.

De -d switch dumpt tokens en scores terwijl ze worden gelezen. Het is nuttig voor
debuggen, of als u grafische weergaven van de classificatie wilt maken. A
Gedetailleerde uitleg van de uitvoer valt buiten het bestek van deze handleiding, maar is dat wel
eenvoudig als je dbacl.ps hebt gelezen. Mogelijke variaties zijn onder meer -d met -n
or -N.

Indeling kan in principe met één of meerdere categorieën. Wanneer twee of meer
categorieën worden gebruikt, wordt de Bayesiaanse posterieure waarschijnlijkheid gebruikt, gegeven de invoertekst,
met een uniforme voorafgaande verdeling over categorieën. Voor andere eerdere keuzes, zie de
metgezel nut Bayesol(1). Wanneer een enkele categorie wordt gebruikt, kan classificatie plaatsvinden
door de score te vergelijken met een drempelwaarde. In de praktijk zijn er echter veel betere resultaten
verkregen met verschillende categorieën.

Leren en classificeren kunnen niet met dezelfde opdrachtaanroep worden gecombineerd, maar dat is wel zo
geen vergrendelingsproblemen en gescheiden dbacl processen kunnen gelijktijdig met voor de hand liggende processen plaatsvinden
resultaten, omdat bestandsbewerkingen atomair zijn ontworpen.

Merk ten slotte op dat dbacl beheert niet uw documentcorpora of uw computergegevens
categorieën, en het staat u met name niet toe een bestaand categoriebestand uit te breiden
met nieuwe documenten. Dit in tegenstelling tot de huidige spamfilters, die van alles kunnen leren
e-mails stapsgewijs. Deze beperking van dbacl is gedeeltelijk te wijten aan de niet-lineaire procedure
gebruikt in het leeralgoritme, en gedeeltelijk een verlangen naar meer flexibiliteit.

U kunt het effect van incrementeel leren simuleren door uw trainingsdocumenten op te slaan in
archieven en in de loop van de tijd aan deze archieven toevoegen, waarbij u periodiek opnieuw leert.
Leren gaat zelfs sneller als deze archieven direct worden gecomprimeerd en gedecomprimeerd
wanneer nodig. Door de controle over uw archieven te behouden, kunt u de informatie nooit kwijtraken
uw categorieën, en u kunt eenvoudig experimenteren met verschillende schakelaars of tokenisaties of
sets trainingsdocumenten als je wilt.

ONDERGESCHIKT SCHAKELAARS

Standaard dbacl classificeert de invoertekst als geheel. Echter, bij gebruik van de -f keuze,
dbacl kan worden gebruikt om elke invoerregel afzonderlijk te filteren, waarbij alleen die regels worden afgedrukt
overeenkomen met een of meer modellen geïdentificeerd door houden (gebruik de categorienaam of het nummer om naar een te verwijzen
categorie). Dit is handig als u enkele regels wilt filteren, maar houd er rekening mee dat als de regels
kort zijn, kan het foutenpercentage hoog zijn.

De -e,-w,-g,-j schakelaars worden gebruikt voor het selecteren van een geschikt tokenisatieschema. A
token is een woord of woordfragment of combinatie van woorden of fragmenten. De vorm van tokens
is belangrijk omdat het de basis vormt van de taalmodellen die worden gebruikt dbacl. De -e
switch selecteert een vooraf gedefinieerd tokenisatieschema, dat snel maar beperkt is. De -w
switch specificeert samengestelde tokens die zijn afgeleid van de -e schakelaar. Bijvoorbeeld: '-e alnum -w 2'
betekent dat tokens alfanumerieke woordfragmenten moeten zijn, gecombineerd in overlappende paren
(biggrammen). Wanneer de -j schakelaar wordt gebruikt, worden alle tokens omgezet in kleine letters
vermindert het aantal mogelijke tokens en dus het geheugenverbruik.

Indien de -g switch wordt gebruikt, kunt u volledig opgeven hoe de tokens er uit moeten zien
met behulp van een reguliere expressie. Meerdere -g schakelaars kunnen worden gebruikt om complexen te construeren
tokenisatieschema's en haakjes binnen elke expressie kunnen worden gebruikt om te selecteren
fragmenten en combineer ze tot n-grammen. De kosten van een dergelijke flexibiliteit worden verlaagd
classificatie en leersnelheid. Wanneer u experimenteert met tokenisatieschema's, probeer dan
de -d or -D schakelt tijdens het leren of classificeren, omdat ze de tokens zullen afdrukken
expliciet zodat u kunt zien welke tekstfragmenten worden opgepakt of gemist. Voor regelmatig
expressiesyntaxis, zie regex(7).

De -h en -H schakelaars regelen hoeveel geheugen dbacl kan gebruiken om te leren. Tekst
classificatie kan standaard veel geheugen gebruiken dbacl beperkt zich zelfs tot de
ten koste van de leernauwkeurigheid. Als een limiet wordt bereikt, volgt er in veel gevallen een waarschuwingsbericht
met wat advies op STDERR worden afgedrukt.

Wanneer u dezelfde categorie verschillende keren opnieuw leert, kunt u een aanzienlijke versnelling behalen
met de -1 schakelen, omdat hierdoor de eerder geleerde waarschijnlijkheden kunnen worden gelezen
de categorie en hergebruikt.

Houd er rekening mee dat de nauwkeurigheid van de classificatie vooral afhangt van de hoeveelheid en kwaliteit van de
trainingsvoorbeelden, en dan alleen op de hoeveelheid aanpassingen.

EXIT STATUS

Bij gebruik van het -l opdrachtformulier, dbacl retourneert nul bij succes. Bij gebruik van de -c het formulier,
dbacl retourneert een positief geheel getal (1,2,3...) dat overeenkomt met de categorie met de hoogste
posterieure waarschijnlijkheid. Bij gelijke stand wordt de eerste meest waarschijnlijke categorie gekozen. Als een
er treedt een fout op, dbacl retourneert nul.

OPTIES

-0 Voorkomt bij het leren het voorladen van het gewicht. Normaal gesproken, dbacl controleert of de categorie
bestand bestaat al, en als dat het geval is, probeert het de bestaande gewichten als uitgangspunt te gebruiken
punt. Dit kan het leren dramatisch versnellen. Als de -0 (nul)schakelaar is ingesteld,
harte dbacl gedraagt ​​zich alsof er nog geen categoriebestand bestaat. Dit is vooral handig voor
testen. Deze schakelaar is nu standaard ingeschakeld om te beschermen tegen gewichtsafwijking
wat de nauwkeurigheid van veel leeriteraties kan verminderen. Gebruik -1 kracht
voorladen.

-1 Forceer het vooraf laden van gewichten als het categoriebestand al bestaat. Zie bespreking van de
-0 schakelaar.

-a Scores toevoegen. Elke invoerregel wordt naar STDOUT geschreven en de dbacl-scores zijn dat ook
toegevoegd. Dit is handig voor nabewerking Bayesol(1). Voor het gemak van
Bij de verwerking wordt elke originele invoerregel ingesprongen met een enkele spatie (om onderscheid te maken
uit de bijgevoegde scores) en de lijn met de scores (if -n wordt gebruikt) is
voorafgegaan door de tekenreeks "scores". Indien een tweede exemplaar van dbacl moet dit lezen
later wordt uitgevoerd, moet deze worden aangeroepen met de -A schakelaar.

-d Dump de modelparameters naar STDOUT. In combinatie met de -l optie, dit
produceert een voor mensen leesbare samenvatting van het maximale entropiemodel. In combinatie met
de -c optie, toont de bijdrage van elk token aan de eindscore.
Onderdrukt alle andere normale uitvoer.

-e Selecteer tekenklasse voor standaard (niet op regex gebaseerde) tokenisatie. Standaard,
tokens zijn alleen alfabetische tekenreeksen. Dit komt overeen met het geval wanneer behendig is
"alfa". Mogelijke waarden voor behendig zijn "alpha", "alnum", "grafiek", "char", "cef"
en "adp". De laatste twee zijn aangepaste tokenizers bedoeld voor e-mailberichten. Zien
ook isalfa(3). De "char"-tokenizer pikt in plaats daarvan afzonderlijke afdrukbare tekens op
dan grotere tokens, en is alleen bedoeld om te testen.

-f Filter elke invoerregel afzonderlijk en geef alleen regels door aan STDOUT die overeenkomen met de
categorie geïdentificeerd als houden. Deze optie moet voor elk herhaaldelijk worden gebruikt
categorie die bewaard moet worden. houden kan ofwel de zijn categorie bestandsnaam, of een
positief geheel getal dat het vereiste vertegenwoordigt categorie in dezelfde volgorde waarin deze verschijnt
de opdrachtregel.

Uitvoerregels worden doorgespoeld zodra ze worden geschreven. Als het invoerbestand een pipe
of tekenapparaat, dan wordt er geprobeerd om de lijnbuffermodus te gebruiken
hoe efficiënter blokbuffering wordt gebruikt.

-g Leer alleen functies die worden beschreven door de uitgebreide reguliere expressie regex. Deze
overschrijft de standaard featureselectiemethode (zie -w optie) en leert, voor elk
invoerregel, alleen tokens opgebouwd uit de aaneenschakeling van strings die
overeenkomen met de getagde subexpressies binnen het opgegeven bestand regex. Alle subtekenreeksen die
match regex binnen een achtervoegsel van elke invoerregel worden behandeld als kenmerken, zelfs als
ze overlappen elkaar op de invoerregel.

Als optioneel gemak, regex kan het achtervoegsel bevatten ||xyz Wat aangeeft
welke subexpressies tussen haakjes moeten worden getagd. In dit geval, xyz moet
bestaan ​​uitsluitend uit de cijfers 1 tot en met 9, waarbij precies die subuitdrukkingen worden genummerd
moet worden getagd. Als alternatief, als er geen haakjes in voorkomen regex, dan is het
aangenomen dat de hele uitdrukking moet worden vastgelegd.

-h Stel de grootte van de hashtabel in op 2^grootte elementen. Bij gebruik van de -l optie, dit
verwijst naar het totale aantal functies dat is toegestaan ​​in het maximale entropiemodel
geleerd. Bij gebruik van de -c optie samen met de -M schakelaar en multinomiaal type
categorieën, dit verwijst naar het maximale aantal functies waarmee rekening wordt gehouden tijdens
classificatie. Zonder de -M schakelaar heeft deze optie geen effect.

-i Volledig geïnternationaliseerde modus. Dwingt intern het gebruik van brede karakters af
is op sommige locaties noodzakelijk. Dit brengt een merkbaar prestatieverlies met zich mee.

-j Maak functies hoofdlettergevoelig. Normaal gesproken worden alle functies omgezet naar kleine letters
tijdens de verwerking, wat de opslagvereisten vermindert en de statistische gegevens verbetert
schattingen voor kleine datasets. Bij deze optie wordt het oorspronkelijke hoofdlettergebruik gebruikt
voor elke functie. Dit kan de nauwkeurigheid van de classificatie verbeteren.

-m Wijst categorieën op agressieve wijze toe aan het geheugen en vergrendelt ze in het RAM om dit te voorkomen
eventueel ruilen. Dit is handig wanneer snelheid van het grootste belang is en geheugen dat ook is
overvloedig aanwezig, bijvoorbeeld bij het testen van de classificator op grote datasets.

Voor het vergrendelen kan het nodig zijn de gebruikerslimieten te versoepelen ulimit(1). Vraag het uw systeem
beheerder. Wees voorzichtig bij het gebruik van de -m samen schakelen met de -o schakelen, als enige
één dbacl-proces moet tegelijk leren of classificeren om bestandsbeschadiging te voorkomen. Als
er geen leerproces plaatsvindt, dan -m schakelaar voor classificeren is altijd veilig te gebruiken.
Zie ook de discussie over de -o schakelaar.

-n Print scores voor elk categorie. Elke score is het product van twee getallen, de
kruisentropie en de complexiteit van de invoertekst onder elk model. Vermenigvuldigd
samen vertegenwoordigen ze de logkans dat de invoer op het model lijkt. Naar
zie deze nummers afzonderlijk, gebruik ook de -v keuze. In combinatie met de -f
optie stopt met filteren, maar drukt elke invoerregel af, voorafgegaan door een lijst met scores
voor die lijn.

-q Selecteer kwaliteit van leren, waar kwaliteit kan 1,2,3,4 zijn. Hogere waarden duren langer
om te leren, en zou iets nauwkeuriger moeten zijn. De standaard kwaliteit is 1 als de
categoriebestand bestaat niet of gewichten kunnen niet vooraf worden geladen, en 2 anders.

-o Leest/schrijft tijdens het leren gedeeltelijke tokentellingen, zodat ze opnieuw kunnen worden gebruikt. Normaal gesproken,
categoriebestanden worden geleerd uit precies de opgegeven invoergegevens en bevatten geen
externe informatie. Wanneer deze optie actief is, wordt er wat extra informatie toegevoegd
opgeslagen in het bestand online., nadat alle invoer is gelezen. Deze informatie kan opnieuw worden gelezen
de volgende keer dat er wordt geleerd, om verder te gaan waar de vorige dataset is gebleven
uit. Als online. bestaat niet, het is gemaakt. Als online. bestaat, wordt het eerder gelezen
leren en daarna bijwerken. Het bestand is ongeveer 3 keer groter (at
tenminste) dan het geleerde categorie.

In dbacl, bestandsupdates zijn atomair, maar als je de -o schakelaar, twee of meer
Processen mogen niet tegelijkertijd leren, aangezien slechts één proces een blijvend proces zal schrijven
categorie en geheugendump. De -m overstappen kan het online leren ook versnellen, maar
pas op voor mogelijke corruptie. Er mag slechts één proces een bestand lezen of schrijven. Dit
optie is vooral bedoeld voor gecontroleerde testruns.

-r Leer alleen het grafische referentiemodel. Slaat het leren van extra functies over
het tekstcorpus.

-v Uitgebreide modus. Wanneer u leert, drukt u de details van de berekening af, wanneer
classificeren, druk de naam van de meest waarschijnlijke af categorie. In combinatie met
de -n optie, drukt de scores af als een expliciet product van de kruisentropie en
de complexiteit.

-w Selecteer standaardfuncties tot n-grammen max_bestelling. Dit is onverenigbaar met
de -g optie, die altijd voorrang heeft. Als Nee -w or -g opties worden gegeven,
dbacl gaat uit van -w 1. Merk op dat n-grammen voor n groter dan 1 niet over de lijn heen liggen
breekt standaard. De -S schakelaar maakt lijnspreiding mogelijk.

-x Stel decimeringskans in op 1 - 2^(-decimaal). Om de geheugenvereisten te verminderen wanneer
Bij het leren worden sommige invoergegevens willekeurig overgeslagen en worden er slechts enkele aan het model toegevoegd.
Het exacte gedrag is afhankelijk van het toepasselijke -T optie (standaard is -T "tekst"). Wanneer
het type niet "e-mail" is (bijvoorbeeld "tekst"), dan worden individuele invoerfuncties toegevoegd
waarschijnlijkheid 2^(-decimaal). Wanneer het type "e-mail" is, zijn de volledige invoerberichten dat wel
toegevoegd met waarschijnlijkheid 2^(-decimaal). Binnen elk dergelijk bericht zijn alle functies aanwezig
gebruikt.

-A Verwacht ingesprongen input en scores. Met deze schakelaar dbacl verwacht dat de invoerregels dat zullen zijn
ingesprongen met een enkele spatie (die vervolgens wordt overgeslagen). Lijnen beginnend met
elk ander teken wordt genegeerd. Dit is de tegenhanger van de -a schakelaar hierboven.
Bij gebruik samen met de -a schakelaar, dbacl geeft de overgeslagen regels weer zoals ze zijn,
en voegt de ruimte aan de voorkant van elke verwerkte invoerregel opnieuw in.

-D Print debug-uitvoer. Normaal niet gebruiken, maar kan erg handig zijn voor het weergeven van de
maak een lijst van kenmerken die tijdens het leren zijn opgepikt.

-H Laat de hashtabel groeien tot maximaal 2^gmaat elementen tijdens het leren.
De initiële grootte wordt gegeven door -h optie.

-L Selecteer de digitale referentiemaat voor karakterovergangen. De maatregel kan zijn
een van "uniform", "dirichlet" of "maxent". De standaardinstelling is "uniform".

-M Forceer multinomiale berekeningen. Bij het leren dwingt u de modelkenmerken af
multinomiaal behandeld. Corrigeert bij het classificeren de entropiescores om te reflecteren
multinomiale kansen (alleen van toepassing op modellen van het multinomiale type, indien aanwezig).
Scores zullen altijd lager zijn, omdat de volgorde van features verloren gaat.

-N Druk de posterieure kansen voor elk af categorie. Hierbij wordt uitgegaan van de geleverde
categorieën vormen een uitputtende lijst van mogelijkheden. In combinatie met de -f
optie stopt met filteren, maar drukt elke invoerregel af, voorafgegaan door een samenvatting van de
posterieure distributie voor die lijn.

-R Voeg een extra categorie toe voor puur willekeurige tekst. De categorie wordt "willekeurig" genoemd.
Het heeft alleen zin als je de -c optie.

-S Schakel lijnspreiding in. Dit is handig in combinatie met de -w optie om n-grammen toe te staan
voor n > 1 om regeleinden te negeren, zodat een complex token verder kan gaan dan het einde van
de lijn. Dit wordt niet aanbevolen voor e-mail.

-T Geef een niet-standaard tekstformaat op. Standaard, dbacl gaat ervan uit dat de invoertekst a is
puur ASCII-tekstbestand. Dit komt overeen met het geval waarin type dan: is "tekst".

Er zijn verschillende typen en subtypen die kunnen worden gebruikt om de invoertekst op te schonen
externe tokens voordat daadwerkelijk leren of classificeren plaatsvindt. Elk (sub)type
die u wilt gebruiken, moet met een apart worden aangegeven -T optie op de opdrachtregel,
en impliceert automatisch het overeenkomstige type.

Het type "tekst" is voor ongestructureerde platte tekst. Er vindt geen opruiming plaats. Dit is
de standaardwaarde als er geen typen worden opgegeven op de opdrachtregel.

Het type "e-mail" is voor invoerbestanden in mbox-formaat of afzonderlijke RFC822-e-mails. Kopteksten
worden herkend en de meeste worden overgeslagen. Om extra RFC822-standaardheaders op te nemen
(behalve voor traceerheaders), gebruik het subtype "email:headers". Om sporen op te nemen
headers, gebruik dan het subtype "email:theaders". Om alle kopteksten in de e-mail op te nemen, gebruikt u
het subtype "email:xheaders". Gebruik om alle kopteksten, behalve het onderwerp, over te slaan
"e-mail: geen headers". Om binaire bijlagen op tekenreeksen te scannen, gebruikt u de optie "email:atts"
ondersoort.

Wanneer het type 'e-mail' van kracht is, wordt HTML-opmaak automatisch uit de tekst verwijderd
bijlagen behalve tekst/gewone bijlagen. Om ook HTML-opmaak uit gewoon bestand te verwijderen
tekstbijlagen, gebruik "email:noplain". Om te voorkomen dat HTML-markeringen in alle tekst worden verwijderd
bijlagen, gebruik "email:plain".

Het type "html" is bedoeld voor het verwijderen van HTML-markeringen (tussen En tags) en
omringende tekst. Merk op dat als het type "e-mail" is ingeschakeld, "html" dat ook is
alleen automatisch ingeschakeld voor compatibele berichtbijlagen.

Het type "xml" lijkt op "html", maar respecteert het niet En , en niet
interpreteer tags (dus dit zou beter het verwijderen van "angle markup" moeten worden genoemd, en
heeft niets te maken met daadwerkelijke XML-semantiek).

Wanneer "html" is ingeschakeld, gaan de meeste opmaakkenmerken verloren (voor waarden van 'most' close
aan iedereen'). Het subtype "html:links" zorgt ervoor dat link-URL's worden geparseerd en geleerd,
die anders genegeerd zouden worden. Het subtype "html:alt" dwingt het parseren van
alternatieve tekst in ALT-attributen en diverse andere tags. De "html:scripts"
subtype dwingt het parseren van scripts, "html:styles" dwingt het parseren van stijlen,
"html:forms" dwingt het parseren van formulierwaarden af, terwijl "html:comments" het parseren van
HTML-opmerkingen.

-U Print (U)dubbelzinnigheid. Bij gebruik in combinatie met de -v schakelaar, drukt partituren af
gevolgd door hun empirische standaardafwijkingen. Wanneer het alleen wordt gebruikt, print het het beste
categorie, gevolgd door een geschatte waarschijnlijkheid dat deze categoriekeuze is
ondubbelzinnig. Preciezer gezegd, de waarschijnlijkheid meet het gebrek aan overlap van CLT
betrouwbaarheidsintervallen voor elke categoriescore (als er sprake is van overlap, dan is dat ook zo).
meerduidigheid).

Deze geschatte waarschijnlijkheid kan worden gebruikt als een "onzekere" vlag, bijvoorbeeld als de geschatte
De waarschijnlijkheid is kleiner dan 50%. Formeel betekent een score van 0% dat er sprake is van een andere categorie
Het is even waarschijnlijk dat dit van toepassing is op de input, en een score van 100% betekent dat er geen andere categorie is
waarschijnlijk van toepassing is op de invoer. Merk op dat dit soort vertrouwen er niets mee te maken heeft
de -X schakelaar. Ook is de waarschijnlijkheidsschatting meestal laag als het document dat wel is
kort is, of als het bericht veel tokens bevat die nog nooit eerder zijn gezien
(geldt alleen voor uniforme digitale afmetingen).

-V Druk het versienummer van het programma af en sluit af.

-W Net als -w, maar voorkomt dat features zich over nieuwe regels uitstrekken. Zie de beschrijving van -w.

-X Druk het vertrouwen af ​​in de voor elk berekende score categorie, wanneer ze samen worden gebruikt
met de -n or -N schakelaar. Bereidt het model voor op betrouwbaarheidsscores, indien gebruikt met
de -l schakelaar. De betrouwbaarheid is een schatting van de typiciteit van de score,
uitgaande van de nulhypothese dat de gegeven categorie correct is. Bij gebruik met de
-v alleen schakelaar, ontbindt de score als de empirische divergentie plus de shannon
entropie, vermenigvuldigd met complexiteit, in die volgorde. De -X schakelaar wordt niet ondersteund
alle mogelijke modellen en geeft een percentage van "0.0" weer als dit niet kan worden berekend.
Houd er rekening mee dat het voor onbekende documenten heel gebruikelijk is dat vertrouwelijkheden dichtbij zijn
nul.

GEBRUIK

Om twee categoriebestanden in de huidige map te maken op basis van twee ASCII-tekstbestanden met de naam
Mark_Twain.txt en William_Shakespeare.txt, typ respectievelijk:

% dbacl -l twee Mark_Twain.txt
% dbacl -l schud William_Shakespeare.txt

Nu kunt u invoertekst classificeren, bijvoorbeeld:

% echo "hoera" | dbacl -v -c twee -c schudden
twee
% echo "zijn of niet zijn" | dbacl -v -c twee -c schudden
schudden

Merk op dat de -v optie is op zijn minst noodzakelijk, anders dbacl drukt niets af.
De retourwaarde is 1 in het eerste geval, 2 in het tweede.

% echo "zijn of niet zijn" | dbacl -v -N -c twee -c schudden
twee 22.63% schudden 77.37%
% echo "zijn of niet zijn" | dbacl -v -n -c twee -c schudden
twee 7.04 * 6.0 schudden 6.74 * 6.0

Deze aanroepingen zijn gelijkwaardig. De getallen 6.74 en 7.04 geven aan hoe dichtbij de
het gemiddelde token is voor elke categorie, en 6.0 is het aantal waargenomen tokens. Als je wil
om een ​​eenvoudige betrouwbaarheidswaarde samen met de beste categorie af te drukken, vervangt u -v Met -U.

% echo "zijn of niet zijn" | dbacl -U -c twee -c schudden
schudden # 34%

Merk op dat de werkelijke waarschijnlijkheid van de categorie schudden versus categorie twee is 77.37%, maar de
De berekening is enigszins dubbelzinnig, en 34% is het vertrouwen van 100% dat de
De berekening is kwalitatief correct.

Stel dat een bestand document.txt Engelse tekstregels bevat, afgewisseld met ruisregels. Naar
filter de ruislijnen uit de Engelse lijnen, ervan uitgaande dat u een bestaande categorie heeft
schud, zeg, typ:

% dbacl -c shake -f shake -R document.txt > document.txt_eng
% dbacl -c shake -f willekeurig -R document.txt > document.txt_rnd

Houd er rekening mee dat de kwaliteit van de resultaten zal variëren afhankelijk van hoe goed de categorieën schudden
en willekeurig vertegenwoordigen elke invoerregel. Soms is het handig om de achterkant te zien
kansen voor elke lijn zonder filtering:

% dbacl -c schudden -f schudden -RN document.txt > document.txt_probs

U kunt nu de posterieure waarschijnlijkheden voor elke regel tekst nabewerken met een andere regel
script, om een ​​willekeurige Bayesiaanse beslissingsregel van uw keuze te repliceren.

In het speciale geval van precies twee categorieën kan de optimale Bayesiaanse beslissingsprocedure dat wel zijn
voor documenten als volgt worden geïmplementeerd: let p1 de voorafgaande waarschijnlijkheid zijn dat de invoer
tekst is geclassificeerd als categorie1. Bijgevolg is de eerdere waarschijnlijkheid van classificatie als
categorie2 is 1 - p1. Laat u12 de kosten zijn van het verkeerd classificeren van a categorie1 tekst invoeren als
behorend bij categorie2 en vice versa voor u21. We gaan ervan uit dat er geen kosten zijn verbonden aan het classificeren
correct. Vervolgens implementeert het volgende commando de optimale Bayesiaanse beslissing:

% dbacl -n -c categorie1 -c categorie2 | awk '{ als($2 * p1 * u12 > $4 * (1 - p1) * u21) {
afdrukken $ 1; } anders { print $3; } }'

dbacl kan ook gebruikt worden in combinatie met procmail(1) om een ​​eenvoudige Bayesiaan te implementeren
e-mailclassificatiesysteem. Stel dat inkomende post automatisch moet worden afgeleverd
naar een van de drie e-mailmappen in $MAILDIR met de naam werk, persoonlijk en spam.
In eerste instantie moeten deze worden gemaakt en gevuld met geschikte voorbeeld-e-mails. A crontab(1)
bestand kan worden gebruikt om de drie categorieën één keer per dag te leren, bijvoorbeeld

KATTEN=$HOME/.dbacl
5 0 * * * dbacl -T e-mail -l $CATS/work $MAILDIR/work
10 0 * * * dbacl -T e-mail -l $CATS/persoonlijk $MAILDIR/persoonlijk
15 0 * * * dbacl -T e-mail -l $CATS/spam $MAILDIR/spam

Om elke inkomende e-mail automatisch in de juiste map af te leveren, gaat u als volgt te werk
procmailrc(5) Receptfragment kan worden gebruikt:

KATTEN=$HOME/.dbacl

# voer de spamclassificator uit
:0 c
JAAA=| dbacl -vT e-mail -c $CATS/werk -c $CATS/persoonlijk -c $CATS/spam

# naar de juiste mailbox sturen
: 0:
* ? test -n "$YAY"
$MAILDIR/$YAY

: 0:
$STANDAARD

Soms, dbacl stuurt de e-mail naar de verkeerde mailbox. In dat geval is het verkeerd geclassificeerd
bericht moet van de verkeerde bestemming worden verwijderd en in de juiste mailbox worden geplaatst.
De fout wordt gecorrigeerd de volgende keer dat uw berichten worden geleerd. Als het in de
verkeerde categorie, dbacl zal de verkeerde corpusstatistieken leren.

De standaardtekstkenmerken (tokens) die worden gelezen door dbacl zijn puur alfabetische tekenreeksen, die
minimaliseert de geheugenvereisten, maar kan in sommige gevallen onrealistisch zijn. Om modellen te construeren
gebaseerd op alfanumerieke tokens, gebruik de -e schakelaar. In het onderstaande voorbeeld wordt ook de optionele optie gebruikt
-D switch, die een lijst afdrukt met daadwerkelijke tokens die in het document zijn gevonden:

% dbacl -e alnum -D -l twee Mark_Twain.txt | minder

Het is ook mogelijk om de standaard functieselectiemethode die wordt gebruikt om de functie te leren, te overschrijven
categoriemodel door middel van reguliere expressies. Het volgende dupliceert bijvoorbeeld het
standaardfunctieselectiemethode in de C-landinstelling, terwijl deze veel langzamer is:

% dbacl -l twain -g '^([[:alpha:]]+)' -g '[^[:alpha:]]([[:alpha:]]+)' Mark_Twain.txt

De categorie twee die wordt verkregen, hangt alleen af ​​van enkele alfabetische woorden in de tekst
bestand Mark_Twain.txt (en berekende diagramstatistieken voor voorspelling). Voor een seconde
Met de volgende opdracht wordt bijvoorbeeld een afgevlakt Markoviaans (woord-bigram)-model gebouwd dat:
hangt af van paren opeenvolgende woorden binnen elke regel (maar paren kunnen niet over een regel heen staan).
pauze):

% dbacl -l twain2 -g '(^|[^[:alpha:]])([[:alpha:]]+)||2' -g
'(^|[^[:alpha:]])([[:alpha:]]+)[^[:alpha:]]+([[:alpha:]]+)||23' Mark_Twain.txt

Meer algemene, op lijnen gebaseerde n-grammodellen van alle ordes (tot 7) kunnen in een soortgelijke versie worden gebouwd
manier. Om op alinea's gebaseerde modellen te construeren, moet u de invoercorpora opnieuw formatteren met
awk(1) of dorst(1) om één alinea per regel te verkrijgen. De lijngrootte is beperkt door de beschikbaarheid
geheugen, maar houd er rekening mee dat de prestaties van regex snel afnemen bij lange regels.

PRESTATIES

De onderliggende aanname van statistisch leren is dat een relatief klein aantal
trainingsdocumenten kunnen een veel grotere reeks invoerdocumenten vertegenwoordigen. Dus op de lange termijn
kan het leren tot stilstand komen zonder ernstige gevolgen voor de nauwkeurigheid van de classificatie. Terwijl
Hoewel dit in werkelijkheid niet waar is, is deze veronderstelling verrassend accuraat voor problemen zoals e-mail
filteren. In de praktijk betekent dit een goed gekozen corpus in de orde van tienduizend
documenten is voldoende voor jarenlang zeer nauwkeurige resultaten. Voortdurend leren daarna
zo'n kritische massa resulteert in afnemende rendementen. Natuurlijk, wanneer de echte wereld input
documentpatronen dramatisch veranderen, kan de voorspellende kracht van de modellen verloren gaan. Bij
aan de andere kant geven een paar honderd documenten in de meeste gevallen al aanvaardbare resultaten.

dbacl is sterk geoptimaliseerd voor frequente classificaties, maar niet-frequente batches
aan het leren. Dit is het hierboven beschreven langetermijnoptimum. Onder ideale omstandigheden, dbacl wel
classificeer honderd e-mails per seconde op low-end hardware (500Mhz Pentium III). Aan het leren
De snelheid is niet veel langzamer, maar duurt in feite veel langer voor grote documenten
collecties om verschillende redenen. Bij gebruik van de -m switch, datastructuren zijn dat wel
indien mogelijk agressief in kaart gebracht in het geheugen, waardoor de overhead voor zowel I/O als geheugen wordt verminderd
toewijzingen.

dbacl gooit zijn invoer zo snel mogelijk weg en kent geen beperkingen op het invoerdocument
maat. Zowel de classificatie als de leersnelheid zijn recht evenredig met het aantal
tokens in de invoer, maar leren heeft ook een niet-lineaire optimalisatiestap nodig
tijd evenredig met het aantal ontdekte unieke tokens. Op het moment van schrijven, dbacl is
een van de snelste open source mailfilters gezien het optimale gebruiksscenario, maar gebruik
meer geheugen voor leren dan andere filters.

MEERDERE PROCESSEN EN GEGEVENS CORRUPTIE

Wanneer u categoriebestanden opslaat, dbacl schrijft eerst een tijdelijk bestand op dezelfde locatie weg,
en hernoemt het daarna. Als er tijdens het leren een probleem of crash optreedt, geldt de oude categorie
bestand blijft daarom onaangeroerd. Dit zorgt ervoor dat categorieën nooit kunnen worden beschadigd, nee
het maakt niet uit hoeveel processen tegelijkertijd proberen te leren of te classificeren, en dat betekent dat dit geldig is
categorieën zijn op elk moment beschikbaar voor classificatie.

Bij gebruik van het -m schakelaar, de bestandsinhoud wordt in het geheugen toegewezen voor snel lezen en schrijven.
Dit, samen met de -o schakelaar, is vooral bedoeld voor testdoeleinden, wanneer er tientallen zijn
duizenden berichten moeten in een laboratorium worden geleerd en gescoord om te meten dbacl's
nauwkeurigheid. Omdat er om prestatieredenen niet wordt geprobeerd bestanden te vergrendelen, zijn er wel beschadigingen
mogelijk, tenzij u ervoor zorgt dat er maar één is dbacl proces leest of schrijft elk bestand op elk gewenst moment
gegeven tijd. Dit is het enige geval (-m en -o samen) waarin corruptie mogelijk is.

GEHEUGEN GEBRUIK

Bij het classificeren van een document dbacl laadt alle aangegeven categorieën in het RAM, dus het totaal
Het benodigde geheugen is ongeveer de som van de categoriebestandsgroottes plus een vaste kleine waarde
boven het hoofd. Het invoerdocument wordt verbruikt terwijl het wordt gelezen, dus de grootte doet er niet toe.
maar zeer lange rijen kunnen ruimte in beslag nemen. Bij gebruik van de -m schakelaar, de categorieën worden gelezen
gebruik mmap(2) zoals beschikbaar.

Bij het leren, dbacl houdt een grote structuur in het geheugen bij die veel objecten bevat
wordt niet opgeslagen in de uitvoercategorie. De grootte van deze structuur is evenredig met de
aantal gelezen unieke tokens, maar niet de grootte van de invoerdocumenten, aangezien dat wel het geval is
weggegooid tijdens het lezen. Als grove leidraad is deze structuur 4x-5x zo groot als de
uiteindelijke categoriebestand dat wordt geproduceerd.

Om ongecontroleerde geheugengroei te voorkomen, dbacl wijst standaard een vast klein bedrag toe
geheugen voor tokens. Wanneer dit veld is opgebruikt, worden er nog meer fiches met de
effect van het scheeftrekken van de geleerde categorie, waardoor deze minder bruikbaar wordt naarmate er meer tokens worden verwijderd. A
In dat geval wordt er een waarschuwing op STDERR afgedrukt.

De -h Met de schakelaar kunt u de initiële grootte van de tokenruimte in machten van 2 vastleggen, dat wil zeggen "-h 17"
betekent 2^17 = 131072 mogelijke tokens. Als u "dbacl -V" typt, kunt u het aantal zien
bytes die nodig zijn voor elk token bij het leren of classificeren. Vermenigvuldig dit getal met
het maximale aantal mogelijke tokens om het geheugen te schatten dat nodig is voor het leren. De -H
schakelaar laat dbacl de tafels automatisch laten groeien als en wanneer dat nodig is, tot een maximum
gespecificeerd. Dus als u "-H 21" typt, wordt de oorspronkelijke grootte herhaaldelijk verdubbeld
nodig, tot ongeveer twee miljoen unieke tokens.

Bij het leren met de -X overschakelen, wordt een handvol invoerdocumenten ook in het RAM bewaard
overal.

MILIEU

DBACL_PATH
Wanneer deze variabele is ingesteld, wordt de waarde ervan vóór elke gezet categorie bestandsnaam welke
begint niet met een '/' of een '.'.

SIGNALEN

INT Als dit signaal wordt opgevangen, dbacl sluit gewoon af zonder enige opruiming of iets anders uit te voeren
activiteiten. Dit signaal kan vaak worden verzonden door op Ctrl-C op het toetsenbord te drukken. Zien
stijf(1).

HUP, STOPPEN, TERMIJN
Als een van deze signalen wordt opgevangen, dbacl stopt met het lezen van invoer en gaat door met het lezen ervan
alsof er geen invoer meer beschikbaar is. Dit is een manier om op een elegante manier te stoppen,
maar houd er rekening mee dat in de leermodus een categoriebestand wordt geschreven op basis van de
onvolledige invoer. Het QUIT-signaal kan vaak worden verzonden door op Ctrl- op te drukken
toetsenbord. Zien stijf(1).

USR1 Als dit signaal wordt opgevangen, dbacl herlaadt de huidige categorieën op zijn vroegst
haalbare kans. Normaal gesproken is dit helemaal niet nuttig, maar het kan speciaal zijn
gevallen, bijvoorbeeld als de -f schakelaar wordt samen met invoer van een lange looptijd aangeroepen
pijp.

OPMERKINGEN

dbacl gegenereerde categoriebestanden hebben een binair formaat en kunnen al dan niet overdraagbaar zijn naar
systemen die een andere bytevolgorde-architectuur gebruiken (dit hangt af van hoe dbacl was
gecompileerd). De -V schakelaar drukt af of categorieën draagbaar zijn, of anders gewoon
experiment.

dbacl herkent geen functioneel equivalente reguliere expressies, en in dit geval
dubbele kenmerken worden meerdere keren geteld.

Bij elke geleerde categorie worden de gebruikte opdrachtregelopties opgeslagen. Wanneer
bij het classificeren, zorg ervoor dat elke relevante categorie met dezelfde set is geleerd
opties (regexes mogen verschillen), anders is het gedrag niet gedefinieerd. Er is geen
moet alle schakelaars herhalen bij het classificeren.

Als u veel waarschuwingen over digitalisering krijgt, probeert u te veel gegevens tegelijk te leren.
of uw model is te complex. dbacl is gecompileerd om geheugen te besparen door de finale te digitaliseren
gewichten, maar u kunt de digitalisering uitschakelen door dbacl.h te bewerken en opnieuw te compileren.

dbacl biedt verschillende ingebouwde tokenizers (zie -e switch) en er komen er nog meer in de toekomst
versies, zoals de auteur ze bedenkt. Hoewel de standaard tokenizer kan evolueren, nee
tokenizer moet ooit worden verwijderd, zodat u de vorige altijd kunt simuleren dbacl gedrag
onderhevig aan bugfixes en architectonische veranderingen.

De betrouwbaarheidsschattingen verkregen via de -X schakelaar zijn onderschattingen, dwz zijn meer
conservatief dan ze zouden moeten zijn.

Gebruik dbacl online met behulp van onworks.net-services