fst-compiler-utf8 - Dalam Talian di Awan

JADUAL:

NAMA

fst-compiler, fst-compiler-utf8 - Dua penyusun untuk program SFST

SINOPSIS

fst-compiler tatabahasa-fail [ fail keluaran ]
fst-compiler-utf8 tatabahasa-fail [ fail keluaran ]

PILIHAN

-c Simpan transduser dalam format padat yang digunakan oleh fst-infl2.

-l Simpan transduser dalam format lowmem.

-s Tukar permukaan dan lapisan analisis transduser. Anda perlu menggunakan suis ini masuk
pesanan untuk digunakan fst-infl (fst-infl2, fst-infl3) untuk generasi dan bukannya analisis.

DESCRIPTION

fst-compiler ialah pengkompil untuk program transduser keadaan terhingga. Ia menjana diminimumkan
transduser keadaan terhingga yang boleh digunakan dengan fst-mor, fst-infl, cetakan pertama, fst-bandingkan,
fst-parse, and fst-kekisi. Perwakilan transduser padat yang dijana dengan
bendera -c, disokong oleh fst-infl2, kereta api fst, and perlawanan pertama. Yang cekap ingatan
perwakilan transduser yang dijana dengan bendera -l, hanya disokong oleh fst-
infl3.

Argumen program pertama ialah nama fail yang mengandungi program transduser.
Bahasa pengaturcaraan diterangkan di bawah. Argumen kedua ialah nama fail
yang mana transduser yang terhasil akan ditulis dalam bentuk binari. Jika hujah kedua ialah
hilang, output akan ditulis kepada stdout.

fst-compiler-utf8 berbeza daripada fst-compiler hanya dalam pengekodan aksara. fst-compiler-
utf8 menyokong pengekodan UTF8 bagi fail sumber sedangkan fst-compiler adalah untuk digunakan untuk
Kod aksara 8-Bit seperti latin1 yang merupakan lanjutan kod ASCII. Maklumat
tentang pengekodan disimpan dalam fail transduser dan digunakan oleh program SFST yang lain.

FAIL FORMATS

Program transduser terdiri daripada urutan (pilihan) daripada abjad and berubah-ubah
definisi diikuti oleh satu transduser ungkapan yang menentukan hasilnya
transduser.

Abjad

Definisi abjad terdiri daripada kata kunci ALPHABET diikuti dengan = dan beberapa transduser
ungkapan cth

ABJAD = [az]:[AZ]

Perintah ini mentakrifkan semula abjad sebagai set pasangan simbol yang berlaku pada
peralihan transduser. Kejadian pengendali dua peringkat, pengendali penafian dan
noktah yang tidak disebut mesti sentiasa didahului dengan definisi abjad.

Pembolehubah

Terdapat dua jenis pembolehubah yang berbeza. Simbol menetapkan pembolehubah disertakan dengan hash
tanda (#) dan ambil urutan simbol (lihat di bawah) sebagai nilai:

#UC# = AZ
#LC# = az

Transduser pembolehubah disertakan dengan tanda dolar dan mengambil ungkapan transduser sebagai
nilai:

$MAP$ = [az]:[AZ]+
$MAP$ = [#LC#]:[#UC#]+

Pembolehubah yang namanya bermula dengan simbol `=' adalah istimewa perjanjian pembolehubah. Jika an
pembolehubah perjanjian berlaku lebih daripada sekali dalam ungkapan transduser, ia akan sentiasa ada
nilai yang sama. Pertimbangkan program transduser berikut:

$=1$ = [abc]
$=1$ X $=1$

Transduser hasil mengecam rentetan aXa, bXb, dan cXc. Hanya transduser asiklik
(iaitu transduser dengan set pemetaan rentetan terhingga) boleh diberikan kepada persetujuan
pembolehubah.

Simbol

Simbol adalah sama ada

- aksara tunggal seperti A s 5,

- watak yang dipetik seperti \* atau \_,

- simbol berbilang aksara seperti atau (yang selalu
disertakan dalam kurungan sudut) atau

- garis miring ke belakang diikuti dengan nombor yang merupakan kod berangka bagi
watak yang ditetapkan

- simbol nol <>.

Urutan simbol

Urutan simbol ialah urutan aksara, simbol berbilang aksara dan watak
julat, cth az \. .

julat simbol

Julat simbol adalah sama ada

- simbol tunggal

- jujukan simbol yang disertakan dalam kurungan segi empat sama seperti [A-Za-z] atau

- jujukan simbol bermula dengan ^ dan disertakan dalam kurungan segi empat sama seperti [^A-Za-z]
(menunjukkan pelengkap [a-zA-Z]) atau

- noktah (yang mewakili sebarang simbol daripada abjad)

Ungkapan transduser

Ungkapan transduser (TE) ditakrifkan secara rekursif seperti berikut:

- Sepasang dua julat simbol yang dipisahkan oleh titik bertindih ialah TE.

[az]:[aZ]

- Julat simbol tunggal seperti [az] ialah TE.
Ia adalah bentuk pendek untuk [az]:[az].

- Dua jujukan simbol yang disertakan dalam pendakap dan dipisahkan oleh kolon ialah
a TE. {a[bc]}:{def} bersamaan dengan a:db:e <>:f | a:dc:e <>:f.

- XY ialah TE jika X dan Y ialah TE.
(Kosong tidak diendahkan melainkan dipetik.)

- (X) ialah TE jika X ialah TE.

- X op ialah TE ialah X ialah TE dan op ialah sama ada * (pengendali bintang Kleene), +
(Pengendali tambah Kleene), atau ? (pengendali pilihan)

- op X ialah TE ialah X ialah TE dan op ialah sama ada ! (pengendali penolakan), ^
(operator pengekstrakan bahasa sasaran), _ (operator pengekstrakan bahasa sumber), atau ^_
(operator suis sumber dan sasaran).

- X op Y ialah TE ialah X dan Y ialah TE dan op ialah sama ada & (kata hubung
pengendali), | (operator perpisahan), || (operator komposisi), atau - (tolak
pengendali)

- L x op y R ialah TE jika L dan R ialah TE, x dan y ialah julat simbol dan
op ialah sama ada => (sekatan dua peringkat), <= (paksaan dua peringkat), atau <=> (dua peringkat
sekatan dan paksaan).

- X op L__R ialah TE jika X, L dan R ialah TE dan op ialah sama ada ^-> (atas
penggantian), _-> (gantian ke bawah), /-> (gantian ke kiri) atau \-> (ke kanan
penggantian). Tambahan pula, L dan R mesti menentukan automata (iaitu yang memetakan rentetan mereka
pada diri mereka sendiri). Pengendali ini sepadan dengan pengendali gantian Karttunen. Sekiranya
anak panah diikuti dengan tanda soal (?), penggantian menjadi pilihan.

- X << l ialah TE jika X ialah TE, dan l ialah salah satu daripada bentuk
a atau bentuk a:b dengan a dan b ialah aksara atau simbol tunggal. Hasilnya ialah a
transduser di mana l telah dimasukkan secara bebas ke dalam X. Transduser ab << c misalnya ialah
bersamaan dengan c*ac*bc*.

- X op Y L1__R2, ... , LN__RN ialah TE jika X,Y, L1 melalui LN dan R1
melalui RN ialah TE, dan op sama ada => (sekatan am), <= (paksaan umum), ^=>
(sekatan permukaan am), ^<= (paksaan permukaan umum), ^<=> (permukaan umum
sekatan dan paksaan), _=> (sekatan dalam am), _<= (paksaan mendalam umum),
_<=> (sekatan mendalam dan paksaan am). (Pengendali ini dilaksanakan berikutan
cadangan oleh Anssi Yli-Jyra.)

- "fname" ialah TE. Pengkompil membaca fail bernama fname dan bertukar
ia menjadi transduser dalam bentuk line1|line2|line3|... dengan linex ialah baris ke-x bagi
fail. Semua aksara selain daripada : dan \ ditafsirkan secara literal (iaitu bukan sebagai
pengendali). TE ini biasanya digunakan cth untuk membaca senarai morfem daripada fail.

-" " ialah TE. Pengkompil membaca transduser pra-disusun daripada
fail bernama fname. ini

Ciri-ciri Lebih Lanjut

Komen bermula dengan simbol % dan dilanjutkan sehingga hujung baris. Kosong tidak diendahkan
melainkan mereka dipetik. Ungkapan ditamatkan pada penghujung baris melainkan penghujung baris
didahului dengan garis miring ke belakang. Perintah itu

#include "fname"

boleh digunakan untuk memasukkan kod sumber daripada fail bernama fname. Perintah itu

RE >> "nama nama"

menyimpan ungkapan biasa RE dalam nama fail. Perintah itu

#gunakan hopcroft

memberitahu pengkompil untuk menggunakan algoritma pengecilan Hopcroft mulai sekarang, dan

#gunakan lalai

beralih kembali kepada algoritma pengecilan lalai (Brzozowski). Perintah itu

CONTOH

Berikut ialah contoh program transduser mudah. Dengan mengandaikan bahawa fail "adj-stems"
mengandungi dua baris

mudah
Terlambat
besar

transduser ini akan menganalisis dengan betul bentuk kata adjektif mudah, lebih mudah, paling mudah dan lewat,
kemudian, dan terkini.

ABJAD = [a-zA-Z] y:iaitu:<> :<>

$R$ = y<=>i ( :<> e)

$R2$ = e<=><> ( :<> e)

$R$ = $R$ & $R2$

$Stems$ = "adj-stems"

$S$ = $Stems$ ( :<>| :{er}| :{est})

$S$ || $R$

EXIT STATUS

fst-compiler mengembalikan 0 melainkan beberapa ralat berlaku.

Gunakan fst-compiler-utf8 dalam talian menggunakan perkhidmatan onworks.net