enc2xs - Online in de cloud

PROGRAMMA:

NAAM

enc2xs -- Perl codeermodulegenerator

KORTE INHOUD

enc2xs -[opties]
enc2xs -M ModName mapbestanden...
enc2xs-C

PRODUCTBESCHRIJVING

enc2xs bouwt een Perl-extensie voor gebruik door Encode vanuit Unicode Character Mapping
bestanden (.ucm) of Tcl-coderingsbestanden (.enc). Naast intern gebruikt tijdens de bouw
proces van de Encode-module, kunt u gebruiken enc2xs om uw eigen codering toe te voegen aan perl. Nee
kennis van XS is noodzakelijk.

Quick Gids

Als u zo weinig mogelijk wilt weten over Perl, maar een nieuwe codering wilt toevoegen, hoeft u alleen maar
lees dit hoofdstuk en vergeet de rest.

0. Houd een .ucm-bestand bij de hand. Je kunt het ergens vandaan halen of je kunt het zelf schrijven
scratch of u kunt er een uit de Encode-distributie halen en deze aanpassen. Voor de
UCM-formaat, zie het volgende hoofdstuk. In het onderstaande voorbeeld noem ik mijn theoretisch
codering myascii, gedefinieerd in mijn.ucm. "$" is een shell-prompt.

$ ls-F
mijn.ucm

1. Geef als volgt een opdracht;

$ enc2xs -M Mijn mijn.ucm
het genereren van Makefile.PL
het genereren van Mijn.pm
README genereren
wijzigingen genereren

Bekijk nu uw huidige directory. Het zou er zo uit moeten zien.

$ ls-F
Makefile.PL Mijn.pm mijn.ucm t/

De volgende bestanden zijn gemaakt.

Makefile.PL - MakeMaker-script
My.pm - Submodule coderen
t/My.t - testbestand

1.1.
Als u *.ucm samen met de modules wilt installeren, gaat u als volgt te werk;

$ mkdir Coderen
$ mv *.ucm Coderen
$ enc2xs -M Mijn codering/*ucm

2. Bewerk de gegenereerde bestanden. Dat hoeft niet als je geen tijd EN geen intentie hebt
geef het aan iemand anders. Maar het is een goed idee om de pod te bewerken en meer tests toe te voegen.

3. Geef nu een commando waar alle Perl Mongers dol op zijn:

$ perl Makefile.PL
Makefile schrijven voor Encode::My

4. Nu hoef je alleen nog maar te maken.

$ Make
cp Mijn.pm blib/lib/Encode/Mijn.pm
/usr/local/bin/perl /usr/local/bin/enc2xs -Q -O \
-o coderen_t.c -f coderen_t.fnm
Myascii lezen (myascii)
Samengesteld formulier schrijven
128 bytes in tekenreekstabellen
384 bytes (75%) bespaarden het spotten van duplicaten
1 bytes (0.775%) opgeslagen met behulp van subtekenreeksen
....
chmod 644 blib/arch/auto/Encode/Mijn/Mijn.bs
$

De tijd die nodig is, is afhankelijk van hoe snel uw machine is en hoe groot uw machine is
codering is. Tenzij je aan iets groots als euc-tw werkt, duurt het niet al te lang
lang.

5. U kunt al "installeren", maar u moet eerst testen.

$ test maken
PERL_DL_NONLAZY=1 /usr/local/bin/perl -Iblib/arch -Iblib/lib \
-e 'gebruik Test::Harness qw(&runtests $verbose); \
$verbose=0; runtesten @ARGV;' t/*.t
t/Mijn....ok
Alle testen succesvol.
Bestanden=1, Tests=2, 0 wandklok sec
( 0.09 cusr + 0.01 csys = 0.09 CPU)

6. Als u tevreden bent met het testresultaat, hoeft u alleen maar "make install" te doen

7. Als u uw codering wilt toevoegen aan de vraag-laadlijst van Encode (zodat u
"gebruik Encode::YourEncoding"), uitvoeren

enc2xs-C

om Encode::ConfigLocal bij te werken, een module die lokale instellingen beheert. Daarna,
"gebruik coderen;" is genoeg om uw coderingen op aanvraag te laden.

De Unicode Karakter Wereldmap

Coderen gebruikt de Unicode Character Map (UCM)-indeling voor brontekentoewijzingen. Dit
formaat wordt gebruikt door IBM's ICU-pakket en is overgenomen door Nick Ing-Simmons voor gebruik met de
Codeer module. Omdat UCM flexibeler is dan Tcl's Encoding Map en veel gebruikersvriendelijker
vriendelijk, dit is het aanbevolen formaat voor Nu coderen.

Een UCM-bestand ziet er zo uit.

#
# Reacties
#
"US-ascii" # Vereist
"ascii" # Optioneel
1 # Vereist; meestal 1
1 # Max. # bytes/char
\x3F # Vervangingskr
#
CHARMAP
\x0000 |00 #
\x0001 |01 #
\x0002 |02 #
....
\x007C |7 # VERTICALE LIJN
\x007D |7 # RECHTER HAAKJE
\x007E |7 # TILDE
\x007F |7 #
EINDE CHARMAP

· Alles wat volgt op "#" wordt behandeld als commentaar.

· Het kopgedeelte gaat door tot een regel met het woord CHARMAP. Deze sectie
heeft een vorm van waarde, een paar per lijn. Tekenreeksen die als waarden worden gebruikt, moeten zijn
geciteerd. Barewords worden behandeld als nummers. \xXX vertegenwoordigt een byte.

De meeste trefwoorden spreken voor zich. onderteken betekent vervangend karakter, niet
subkarakter. Wanneer u een Unicode-reeks naar deze codering decodeert, maar geen overeenkomst
karakter wordt gevonden, wordt de hier gedefinieerde bytevolgorde gebruikt. Voor de meeste gevallen is de
waarde is hier \x3F; in ASCII is dit een vraagteken.

· CHARMAP start de character map sectie. Elke regel heeft de volgende vorm:

\xXX.. |0 # opmerking
^ ^ ^
| | +- Terugvalvlag
| +-------- Gecodeerde bytereeks
+------------- Unicode-teken-ID in hex

Het formaat is ongeveer hetzelfde als een koptekstsectie behalve de fallback-vlag: |
gevolgd door 0..3. De betekenis van de mogelijke waarden is als volgt:

|0 Retour veilig. Een teken gedecodeerd naar Unicode codeert terug naar dezelfde byte
reeks. De meeste personages hebben deze vlag.

|1 Fallback voor unicode -> codering. Wanneer gezien, voegt enc2xs dit karakter toe voor de
alleen kaart coderen.

|2 Sla toewijzing van subtekens over als er geen codepunt is.

|3 Fallback voor codering -> unicode. Wanneer gezien, voegt enc2xs dit karakter toe voor de
alleen kaart decoderen.

· En tot slot beëindigt END OF CHARMAP de sectie.

Wanneer u handmatig een UCM-bestand maakt, moet u ascii.ucm of een bestaand
codering die dicht bij die van u ligt, in plaats van helemaal zelf te schrijven.

Als je dat doet, zorg er dan voor dat je in ieder geval weggaat U0000 naar U0020 zoals het is, tenzij uw omgeving
is EBCDIC.

VOORBEHOUD: niet alle functies in UCM zijn geïmplementeerd. icu:state wordt bijvoorbeeld niet gebruikt.
Daarom moet u een perl-module schrijven als u algoritmische ondersteuning wilt
coderingen, met name de ISO-2022-serie. Dergelijke modules omvatten Encode::JP::2022_JP,
Coderen::KR::2022_KR, en Coderen::TW::HZ.

omgaan Met duplicaat toewijzingen
Wanneer u een kaart maakt, MOET u ervoor zorgen dat uw kaarten heen en terug veilig zijn. Dat is,
"coderen('uw-codering', decode('uw-codering', $data)) eq $data" staat voor alle
tekens die zijn gemarkeerd als "|0". Zo kunt u ervoor zorgen:

· Sorteer uw kaart in Unicode-volgorde.

· Als u een dubbele invoer heeft, markeer er dan één met '|1' of '|3'.

· En zorg ervoor dat de invoer '|1' of '|3' NA de invoer '|0' VOLGT.

Hier is een voorbeeld van big5-eten.

\xF2550\xF9 |9
\xA2550\xA2 |4

Interne codering -> Unicode en Unicode -> Coderingskaart ziet er zo uit;

E naar UU naar E
--------------------------------------
\xF9\xF9 => U2550 U2550 => \xF9\xF9
\xA2\xA4 => U2550

Het is dus veilig heen en terug voor \xF9\xF9. Maar als de regel hierboven ondersteboven staat, is dit wat
gebeurt.

E naar UU naar E
--------------------------------------
\xA2\xA4 => U2550 U2550 => \xF9\xF9
(\xF9\xF9 => U2550 is nu overschreven!)

Het Encode-pakket wordt meegeleverd ucmlint, een grof maar voldoende hulpprogramma om de
integriteit van een UCM-bestand. Kijk hiervoor onder de map Encode/bin.

Bij twijfel kunt u gebruiken ucmsorteren, nog een ander hulpprogramma onder de map Encode/bin.

bladwijzers

· ICU-startpaginahttp://www.icu-project.org/>

· ICU-karaktertoewijzingstabellenhttp://site.icu-project.org/charts/charset>

· ICU:Conversiegegevenshttp://www.icu-project.org/userguide/conversion-data.html>

Gebruik enc2xs online met behulp van onworks.net-services