Jest to polecenie htdig, które można uruchomić u dostawcy bezpłatnego hostingu OnWorks przy użyciu jednej z naszych wielu bezpłatnych stacji roboczych online, takich jak Ubuntu Online, Fedora Online, emulator online systemu Windows lub emulator online systemu MAC OS
PROGRAM:
IMIĘ
htdig - pobiera dokumenty HTML dla wyszukiwarki ht://Dig
STRESZCZENIE
htdig [opcje]
OPIS
Htdig pobiera dokumenty HTML przy użyciu protokołu HTTP i zbiera z nich informacje
dokumentów, które można później wykorzystać do przeszukania tych dokumentów. Można polecić ten program
jako robot poszukiwawczy.
OPCJE
- Pobierz listę adresów URL, aby rozpocząć indeksowanie ze standardowego wejścia. Spowoduje to zastąpienie
parametr domyślny adres_początkowy określonego w pliku konfiguracyjnym i pliku dostarczonym do
dotychczasowy -m opcja.
-a Użyj alternatywnych plików roboczych. Mówi htdigowi, aby dołączył .praca do plików bazy danych, powodując a
druga kopia bazy danych do zbudowania. Pozwala to na wykorzystanie oryginalnych plików
przez htsearch podczas przebiegu indeksowania.
-c plik konfiguracyjny
Użyj podanego plik konfiguracyjny zamiast domyślnego.
-h maxhopy
Ogranicz kopanie do dokumentów, których jest najwięcej maxhopy linki oddalone od początku
dokument. Działa to tylko wtedy, gdy opcja -i jest również podana.
-i Wstępny. Nie używaj żadnych starych baz danych. Stare bazy danych zostaną usunięte przed uruchomieniem
program.
-m filename
Minimalny bieg. Indeksuj tylko adresy URL podane w pliku filename, ignorując wszystkie inne.
Adresy URL w pliku powinny być sformatowane po jednym adresie URL w wierszu.
-s Wydrukuj statystyki dotyczące wykopalisk po ich zakończeniu.
-t Utwórz wersję ASCII bazy danych dokumentów. Tę bazę danych można łatwo przeanalizować
z innymi programami, aby można było z nich wyodrębnić informacje do innych celów
niż szukać. Z tej bazy danych można zebrać kilka interesujących statystyk.
Nazwa pola Wartość:
Twój adres URL
Tytuł
stan
(0 normalne, 1 nie znalezione, 2 nieindeksowane, 3 przestarzałe)
m Czas ostatniej modyfikacji zgłoszonej przez serwer
s Rozmiar dokumentu w bajtach
H Wyciąg z dokumentu
h Metaopis
l Czas ostatniego pobrania
L Liczba linków w dokumencie lub towarzyski linki
b Liczba linków do dokumentu, zwana także
przychodzące linki lub zwrotne
c Liczba przeskoków tego dokumentu
g Podpis tego dokumentu
(używany do wykrywania duplikatów)
e Adres e-mail, z którego mają być wysyłane powiadomienia htnotify
n Data wysłania powiadomienia
S Temat wiadomości powiadamiającej
d Tekst łączy przychodzących prowadzących do tego dokumentu
(np. opis )
A Kotwice w dokumencie (tj
-u Nazwa użytkownika Hasło
Nakazuje htdigowi wysyłanie podanej nazwy użytkownika i hasła przy każdym żądaniu HTTP. The
dane uwierzytelniające będą kodowane przy użyciu formatu podstawowy Metoda Uwierzytelnienia. Tam HAS do
być dwukropkiem (:) pomiędzy nazwą użytkownika i hasłem.
-v Tryb szczegółowy. Zwiększa to szczegółowość programu. Używanie więcej niż 2 to
prawdopodobnie przydatne tylko do celów debugowania. Domyślny tryb szczegółowy (przy użyciu tylko
one -v) daje ładny raport o postępie podczas kopania. Proszę zapoznać się z sekcją
poniżej dokładny format sprawozdania z postępu prac.
FORMAT OF THE POSTĘP SPRAWOZDANIE DANY IN GADATLIWY TRYB
Dla każdego adresu URL wyświetlana jest linia z trzema cyframi przed adresem URL i kilkoma symbolami po nim
adres URL. Pierwsza liczba to liczba przeanalizowanych do tej pory dokumentów, druga to
DocID dla tego dokumentu, a trzeci to liczba przeskoków dokumentu (number
przeskoków z jednego z dokumentów start_url). Znaczenie wydrukowanych symboli
po adresie URL:
„*” jest drukowany dla już odwiedzonego łącza
"+" jest drukowany dla nowego łącza, które właśnie znalazło się w kolejce
"-" jest wyświetlany w przypadku łącza odrzuconego z dowolnego z wielu powodów. Aby dowiedzieć się co
z tych powodów musisz uruchomić htdig z co najmniej 3 -v opcje, tj -vvv.
Jeśli po adresie URL nie ma symboli „*”, „+” lub „-”, nie oznacza to, że dokument został
nie został przeanalizowany lub był pusty, a jedynie, że nie znaleziono w nim żadnych linków do innych dokumentów.
W przypadku bardziej szczegółowych wyników symbole te będą przeplatane w kilku wierszach
debugowanie wyników.
AKTA
/etc/htdig/htdig.conf
Domyślny plik konfiguracyjny.
Użyj htdig online, korzystając z usług onworks.net
