estwaver - Online sa Cloud

PROGRAMA:

NAME

estwaver - interface ng command line ng web crawler

SINOPSIS

estwaver sa loob [-apn|-acc] [-xs|-xl|-xh] [-sv|-si|-sa] rootdir

estwaver crawl [-restart|-revisit|-revcont] rootdir

estwaver unittest rootdir

estwaver kunin [-proxy hostr port] [-tout bilang] [-il lang] url

DESCRIPTION

estwaver ay isang pagsasama-sama ng mga sub command. Ang pangalan ng isang sub command ay tinukoy ng
unang argumento. Ang iba pang mga argumento ay na-parse ayon sa bawat sub command. Ang argumento
rootdir tumutukoy sa crawler root directory na naglalaman ng configuration file at iba pa.

estwaver sa loob [-apn|-acc] [-xs|-xl|-xh] [-sv|-si|-sa] rootdir
Lumikha ng direktoryo ng ugat ng crawler.
If -apn ay tinukoy, ang pagsusuri ng N-gram ay isinagawa laban din sa tekstong European.
If -acc ay tinukoy, ang pagtatasa ng kategorya ng character ay ginagawa sa halip na N-gram
pagtatasa.
If -xs ay tinukoy, ang index ay nakatutok upang magrehistro ng mas mababa sa 50000 na mga dokumento.
If -xl ay tinukoy, ang index ay nakatutok upang magrehistro ng higit sa 300000 na mga dokumento.
If -xh ay tinukoy, ang index ay nakatutok upang magrehistro ng higit sa 1000000 na mga dokumento.
If -sv ay tinukoy, ang mga marka ay iniimbak bilang walang bisa.
If -Oo naman ay tinukoy, ang mga marka ay iniimbak bilang 32-bit integer.
If -sa ay tinukoy, ang mga marka ay iniimbak bilang-ayon at minarkahan na hindi nakatutok kung kailan
maghanap.

estwaver crawl [-restart|-revisit|-revcont] rootdir
Magsimulang gumapang.
If -muling muli ay tinukoy, ang pag-crawl ay na-restart mula sa mga dokumento ng binhi.
If -balikan ay tinukoy, ang mga nakolektang dokumento ay muling binibisita.
If -revcont ay tinukoy, ang mga nakolektang dokumento ay muling binibisita at pagkatapos ay ang pag-crawl
patuloy.

estwaver unittest rootdir
Magsagawa ng mga unit test.

estwaver kunin [-proxy hostr port] [-tout bilang] [-il lang] url
Kumuha ng dokumento.
url tumutukoy sa URL ng isang dokumento.
-proxy tinutukoy ang pangalan ng host at ang port number ng proxy server.
-tout tumutukoy sa timeout sa mga segundo.
-siya tumutukoy sa gustong wika. Bilang default, ito ay Ingles.

Ang lahat ng mga sub command ay nagbabalik ng 0 kung ang operasyon ay matagumpay, kung hindi ay nagbabalik ng 1. Isang tumatakbong crawler
nagtatapos sa pagsasara ng database kapag nakuha nito ang signal 1 (SIGHUP), 2 (SIGINT), 3
(SIGQUIT), o 15 (SIGTERM).

Kapag natapos ang pag-crawl, mayroong isang direktoryo _index sa direktoryo ng ugat ng crawler. Ito ay
isang index na makukuha ng estcmd at iba pa.

Gumamit ng estwaver online gamit ang mga serbisyo ng onworks.net