htdig - آنلاین در ابر

برنامه:

نام

htdig - اسناد HTML را برای موتور جستجوی ht://Dig بازیابی کنید

خلاصه

htdig [گزینه ها]

شرح

Htdig اسناد HTML را با استفاده از پروتکل HTTP بازیابی می کند و اطلاعات را از آنها جمع آوری می کند
اسنادی که بعداً می توان برای جستجوی این اسناد استفاده کرد. این برنامه قابل ارجاع است
به عنوان ربات جستجوگر

OPTIONS

- فهرستی از URL ها را برای شروع نمایه سازی از ورودی استاندارد دریافت کنید. این را لغو می کند
پارامتر پیش فرض start_url در فایل پیکربندی و فایل ارائه شده مشخص شده است
la -m گزینه.

-a از فایل های کاری جایگزین استفاده کنید. به htdig می گوید که اضافه کند .کار به فایل های پایگاه داده، باعث ایجاد یک
نسخه دوم پایگاه داده ساخته می شود. این اجازه می دهد تا از فایل های اصلی استفاده شود
توسط htsearch در طول اجرای نمایه سازی.

-c پیکربندی
از موارد مشخص شده استفاده کنید پیکربندی به جای پیش فرض

-h maxhhops
حفاری را به اسنادی که حداکثر هستند محدود کنید maxhhops لینک های دور از شروع
سند این فقط در صورت گزینه کار می کند -i نیز داده شده است.

-i اولیه. از هیچ پایگاه داده قدیمی استفاده نکنید. پایگاه داده های قدیمی قبل از اجرا پاک می شوند
برنامه.

-m نام فایل
حداقل دویدن فقط URL های داده شده در فایل را فهرست کنید نام فایل، نادیده گرفتن بقیه
URL های موجود در فایل باید یک URL در هر خط قالب بندی شوند.

-s چاپ آمار در مورد حفاری پس از اتمام.

-t یک نسخه ASCII از پایگاه داده سند ایجاد کنید. این پایگاه داده به راحتی قابل تجزیه است
با برنامه های دیگر تا بتوان اطلاعات را برای مقاصد دیگر از آن استخراج کرد
از جستجو می توان آمارهای جالبی را از این پایگاه جمع آوری کرد.

نام زمینه مقدار
u URL
تی عنوان
ایالت
(0 عادی، 1 پیدا نشد، 2 فهرست نشده، 3 منسوخ شده)
m زمان آخرین تغییر گزارش شده توسط سرور
اندازه سند بر حسب بایت
H گزیده ای از سند
h توضیحات متا
l زمان آخرین بازیابی
L تعداد پیوندها در سند یا از برونگرا لینک ها
b تعداد پیوندهای سند نیز نامیده می شود
وارد شونده پیوندها یا لینک دهنده
ج تعداد پرش این سند
g امضای این سند
(برای تشخیص موارد تکراری استفاده می شود)
آدرس ایمیل الکترونیکی برای استفاده برای اعلان از htnotify
n تاریخی که چنین اعلان ارسال می شود
S موضوع پیام اعلان
d متن پیوندهای ورودی که به این سند اشاره می کنند
(مثلا توضیحات )

یک لنگر در سند (یعنی

-u نام کاربری: رمز عبور
به htdig می گوید که نام کاربری و رمز عبور ارائه شده را با هر درخواست HTTP ارسال کند. را
اعتبارنامه ها با استفاده از رمزگذاری می شوند پایه ای روش احراز هویت. آنجا دارد به
بین نام کاربری و رمز عبور یک دونقطه (:) باشد.

-v حالت پرمخاطب. این باعث افزایش پرحرفی برنامه می شود. استفاده از بیش از 2 است
احتمالا فقط برای اهداف اشکال زدایی مفید است. حالت پیش فرض پرمخاطب (فقط با استفاده از
one -v) گزارش پیشرفت خوبی در حین حفاری می دهد. لطفا با بخش مشورت کنید
در زیر در مورد فرمت دقیق گزارش پیشرفت.

FORMAT OF L' پیش رفتن گزارش داده شده IN VERBOSE MODE
برای هر URL یک خط با 3 عدد قبل از URL و چند علامت بعد از آن نشان داده می شود
URL شماره اول تعداد اسنادی است که تاکنون تجزیه شده است، شماره دوم است
DocID برای این سند، و سومین تعداد پرش سند (شماره
پرش از یکی از اسناد start_url). نشانه گذاری نمادهای چاپ شده
بعد از آدرس:

"*" برای پیوندی که قبلاً بازدید شده است چاپ شده است

"+" برای یک پیوند جدید که در صف قرار گرفته است چاپ می شود

"-" خروجی برای پیوندی است که به هر یک از دلایل رد شده است. برای اینکه بفهمیم چیه
این دلایل این است که شما باید htdig را با حداقل 3 اجرا کنید -v گزینه ها، به عنوان مثال -vvv.

اگر هیچ علامت "*"، "+" یا "-" بعد از URL وجود ندارد، به این معنی نیست که سند
تجزیه نشد یا خالی بود، اما فقط پیوندی به اسناد دیگر در آن یافت نشد.
با خروجی پرمخاطب تر، این نمادها در چندین خط پراکنده می شوند
خروجی اشکال زدایی

فایل ها

/etc/htdig/htdig.conf
فایل تنظیمات پیش فرض

با استفاده از خدمات onworks.net از htdig آنلاین استفاده کنید