AutoSearchp – Online in der Cloud

PROGRAMM:

NAME/FUNKTION

AutoSearch – eine Web-Such-Tracking-Anwendung

ZUSAMMENFASSUNG

AutoSearch [--stats] [--verbose] -n "Abfragename" -s "Abfragezeichenfolge" --engine Engine [--mail
[E-Mail geschützt] ] [--options "opt=val"]... [--filter "filter"] [--host host] [--port port]
[--userid bbunny --password c4rr0t5] [--ignore_channels KABC,KCBS,KNBC] qid

AutoSearch --VERSION AutoSearch --help AutoSearch --man

BESCHREIBUNG

Automatische Suche führt eine webbasierte Suche durch und gibt die eingestellten Ergebnisse ein qid/index.html.
Nachfolgende Suchen (z. B. das zweite Formular oben) Automatische Suche Bestimmen Sie, was sich ändert (falls
irgendwelche) sind bei den seit dem letzten Lauf gesendeten Ergebnissen aufgetreten. Diese inkrementellen Änderungen sind
aufgezeichnet in qid/JJJJMMTT.html.

Automatische Suche kann als ausgeführt werden cron Job, da alle Eingabeparameter gespeichert werden
auf den Webseiten. Automatische Suche kann als automatisierter Abfrageagent für eine bestimmte Suche fungieren.
Die Ausgabedateien sind als eine Reihe von Webseiten konzipiert, um die Ergebnismenge einfach anzuzeigen
mit einem Webbrowser.

Ejemplo:

AutoSearch -n 'LSAM-Replikation'
-s '"Lsam-Replikation"'
-e AltaVista
Replikationsabfrage

Diese Abfrage (die alle in einer Zeile stehen sollte) erstellt ein Verzeichnis replication_query und
füllt es mit der faszinierenden Ausgabe der AltaVista-Abfrage zu „lsam replication“, mit
Seiten mit dem Titel „LSAM-Replikation“. (Beachten Sie die Anführungszeichen: die einfachen Anführungszeichen in „lsam
replication"' sind für die Shell, die doppelten Anführungszeichen dienen AltaVista zum Suchen nach
Phrase und nicht die einzelnen Wörter.)

Ein komplizierteres Beispiel:

AutoSearch -n 'Externe Links zu LSAM'
-s '(Link:www.isi.edu/lsam oder Link:www.isi.edu/~lsam) -url:isi.edu'
-e AltaVista::AdvancedWeb
-o Kühle=heiß

Diese Abfrage führt eine erweiterte AltaVista-Suche durch und gibt die (hypothetische) „Coolness“ an.
Option zur Suchmaschine.

OPTIONAL

"qid"
Die query Kennung Gibt das Verzeichnis an, in dem sich alle Dateien befinden, die sich darauf beziehen
Abfrage- und Suchergebnisse werden live angezeigt. Es kann ein absoluter Pfad oder ein relativer Pfad sein
von cwd. Wenn das Verzeichnis nicht existiert, wird es erstellt und eine neue Suche durchgeführt
gestartet.

"--Statistiken"
Suchstatistiken anzeigen: die Abfragezeichenfolge, Anzahl der Treffer, Anzahl der gefilterten Treffer,
Filterzeichenfolge, Anzahl der ausgesetzten (gelöschten) Treffer, Größe des vorherigen Satzes, aktueller Satz
Größe usw.

„-v“ oder „--verbose“
Ausführlich: Zusätzliche Meldungen und Warnungen ausgeben.

„-n“ oder „--qn“ oder „--queryname“
Geben Sie den Abfragenamen an. Der Abfragename wird als Überschrift auf den Webseiten verwendet.
Daher sollte es eine „schön“ aussehende Version der Abfragezeichenfolge sein.

„-s“ oder „--qs“ oder „--querystring“
Geben Sie die Abfragezeichenfolge an. Die Abfragezeichenfolge ist die Zeichenfolge, die angezeigt wird
an die Suchmaschine übermittelt. Sie können Sonderzeichen zur Gruppierung oder zum Einfügen einfügen
Qualifizieren Sie die Suche.

„-e“ oder „--engine“
Geben Sie die Suchmaschine an. Die Abfragezeichenfolge wird an den angegebenen Benutzer gesendet
Suchmaschine.

In vielen Fällen gibt es spezielle Versionen von Suchmaschinen. Zum Beispiel,
AltaVista::AdvancedWeb und AltaVista::Neuigkeiten ermöglichen leistungsfähigere und Usenet-Suchen.
Einzelheiten zu Spezialisierungen finden Sie in AltaVista oder auf der Manpage Ihrer Suchmaschine
Variationen.

„--listnewurls“
Drucken Sie zusätzlich zur normalen Dateipflege alle neuen URLs nach STDOUT, eine pro
Linie.

„-o“ oder „--options“
Geben Sie die Abfrageoptionen an. Die Abfrageoptionen werden an die Benutzersuche übermittelt
Engine mit der Abfragezeichenfolge. Diese Funktion ermöglicht die Änderung der Abfragezeichenfolge
für eine bestimmte Suchmaschine oder Option. Es können mehrere Abfrageoptionen angegeben werden.

Beispiel: „-o what=news“ veranlasst AltaVista, das Usenet zu durchsuchen. Obwohl dies funktioniert, ist die
Der bevorzugte Mechanismus wäre in diesem Fall „-e AltaVista::News“ oder „-e
AltaVista::AdvancedNews". Die Optionen sind für den internen oder Expertengebrauch bestimmt.

„-f“ oder „--uf“ oder „--urlfilter“
Diese Option gibt einen regulären Ausdruck an, der mit den URLs von verglichen wird
irgendwelche Ergebnisse; Wenn sie mit dem regulären Ausdruck übereinstimmen, bei dem die Groß-/Kleinschreibung nicht beachtet wird, ist dies der Fall
aus dem Treffersatz entfernt.

Beispiel: „-f '.*\.isi\.edu'“ vermeidet alle ISI-Webseiten.

„--cleanup i“
Löschen Sie alle Spuren von Abfrageergebnissen, die mehr als i Tage zurückliegen. Wenn --cleanup angegeben ist,
Alle anderen Optionen außer der qid werden ignoriert.

„--cmdline“
Rekonstruieren Sie die vollständige Befehlszeile (AutoSearch und alle ihre Argumente), die verwendet wurde
um die Abfrageergebnisse zu erstellen. Die Befehlszeile wird auf STDERR angezeigt. Wenn --cmdline ist
gegeben, alle anderen Optionen außer der qid werden ignoriert.

„--mail Benutzer@Adresse“ oder „-m Benutzer@Adresse“
Nachdem die Suche abgeschlossen ist, senden Sie eine E-Mail mit den NEUEN Ergebnissen an diesen Benutzer. E-Mail ist
HTML-Format. Erfordert das Email::Send und zugehörige Module. Wenn Sie E-Mails senden
Wenn Sie einen SMTP-Server verwenden möchten, müssen Sie die Umgebungsvariable SMTPSERVER auf Ihren Servernamen oder Ihre IP-Adresse setzen
Adresse. Wenn Ihr SMTP-Server ein Passwort erfordert, müssen Sie Umgebungsvariablen festlegen
SMTPUSERNAME und SMTPPASSWORD. Wenn Sie E-Mails über sendmail senden, sollten Sie Folgendes festlegen
Umgebungsvariable SENDMAIL, wenn sich die ausführbare Datei von sendmail nicht im Pfad befindet.

„--emailfrom user@address“
Wenn Ihr Postausgangsserver E-Mails von bestimmten Benutzern ablehnt, können Sie dies nutzen
Argument zum Festlegen des From:-Headers.

„--userid bbunny“
Wenn die Suchmaschine ein Login/Passwort erfordert (z. B. Ebay::Completed), verwenden Sie dieses.

„--password Carr0t5“
Wenn die Suchmaschine ein Login/Passwort erfordert (z. B. Ebay::Mature), verwenden Sie dieses.

BESCHREIBUNG

Automatische Suche sendet eine Anfrage an eine Suchmaschine und erstellt HTML-Seiten, die die Menge von widerspiegeln
„Treffer“ (gefilterte Suchergebnisse), die von der Suchmaschine zurückgegeben werden, und verfolgt diese Ergebnisse
im Laufe der Zeit. Die URL und der Titel werden im angezeigt qid/index.html, die URL, der Titel und
Beschreibung werden in den „wöchentlichen“ Dateien angezeigt.

Um diese Ergebnisse zu organisieren, wird jedes Suchergebnis in einem Abfrageinformationsverzeichnis abgelegt
(Qid). Das Verzeichnis wird zum „Handle“ der Suchergebnisse, eine einfache Möglichkeit, eine Reihe von Suchergebnissen zu verfolgen
Ergebnisse. Daher könnte eine Qid von „/usr/local/htdocs/lsam/autosearch/load_balancing“ lokalisieren
die Ergebnisse auf Ihrem Webserver unter „http://www.isi.edu/lsam/autosearch/load_balancing".

Im qid-Verzeichnis finden Sie Dateien zu dieser Abfrage. Die Primärdatei ist
index.html, das die neuesten Suchergebnisse widerspiegelt. Jeder nicht gefilterte Treffer für jeden
Die Suche wird in gespeichert index.html. Wenn ein Treffer von der Suchmaschine nicht mehr gefunden wird, a
entfernt von index.html. Da neue Ergebnisse für eine Suche von der Suchmaschine zurückgegeben werden
sie werden hineingelegt index.html.

Am Ende von index.htmlgibt es eine Überschrift „Wöchentliche Suchergebnisse“, die aktualisiert wird
jedes Mal, wenn die Suche abgeschickt wird (siehe „Automatisierte Suche“). Die Liste der Suchläufe ist
in umgekehrter chronologischer Reihenfolge gespeichert. Läufe, die keine neuen Informationen liefern, sind
identifiziert mit

Für die Suche wurden keine eindeutigen Ergebnisse gefunden

Läufe, die Änderungen enthalten, werden durch gekennzeichnet

Web-Suchergebnisse für die Suche auf

Daraufhin wird eine Seite verlinkt, auf der die Änderungen dieses Laufs detailliert beschrieben werden.

Detaillierte Suchergebnisse werden in wöchentlichen Dateien vermerkt. Diese Dateien werden benannt JJJJMMTT.html
und werden im qid-Verzeichnis gespeichert. Die wöchentlichen Dateien enthalten DIE URL, den Titel und eine
Beschreibung (falls vorhanden). Der Titel ist ein Link zur Original-Webseite.

AUTOMATISCH SUCHE

Auf UNIX-ähnlichen Systemen cron(1) kann zur Einrichtung regelmäßiger Suchvorgänge und der Webseiten verwendet werden
wird gepflegt von Automatische Suche. Um die erste Suche einzurichten, verwenden Sie das erste Beispiel
unter ÜBERSICHT. Sie müssen die qid, den Abfragenamen und die Abfragezeichenfolge angeben. Wenn einer der
Wenn Elemente fehlen, werden Sie interaktiv nach den fehlenden Elementen gefragt.

Sobald die erste Suche abgeschlossen ist, können Sie die Suche mit dem zweiten Formular unten erneut ausführen
ZUSAMMENFASSUNG.

Ein Cron-Eintrag wie:

0 3 * * 1 /nfs/u1/wls/AutoSearch.pl /www/div7/lsam/autosearch/caching

kann verwendet werden, um die Suche jeden Montag um 3:00 Uhr auszuführen. Der Abfragename und die Abfragezeichenfolge
kann wiederholt werden; aber sie werden nicht verwendet. Das bedeutet, dass mit einer Cron-Zeile wie:

0 3 * * 1 /nfs/u1/wls/AutoSearch.pl /www/div7/lsam/autosearch/caching -n caching -s caching

Eine ganz neue Suchreihe kann erstellt werden

rm -r /www/div7/lsam/autosearch/caching

Der einzige Grund, eine neue Suchserie zu starten, wäre jedoch, die alte wegzuwerfen
wöchentliche Dateien.

Wir empfehlen, Suchvorgänge nicht mehr als einmal pro Tag auszuführen, in diesem Fall jedoch die Dateien pro Ausführung
wird vor Ort aktualisiert. Alle Änderungen werden der Seite mit dem Kommentar „Kürzlich“ hinzugefügt
Hinzugefügt:“; und Löschungen werden mit „Kürzlich ausgesetzt:“ gekennzeichnet.

WECHSEL LOOK OF SEITEN

Das Grundformat dieser beiden Seiten ist einfach und anpassbar. Eine Voraussetzung ist das
Die Grundstruktur bleibt unverändert. HTML-Kommentare werden verwendet, um Abschnitte zu kennzeichnen
dokumentieren. Fast alles kann geändert werden, außer den Zeichenfolgen, die das identifizieren
Abschnitt beginnt und endet.

Bemerkenswerte Tags und ihre Bedeutung:

.*
Der in diesem Tag enthaltene Text wird oben in der Ausgabe platziert
Seite. Wenn der Text enthält Automatische Suche WEB Suchen, dann der Abfragename
werde es ersetzen. Wenn der Text diese magische Zeichenfolge nicht enthält, ist sie vorhanden
Bei der allerersten Suche wird der Benutzer nach einem Abfragenamen gefragt.


Der zwischen den Klammern enthaltene Text ist die Abfragezeichenfolge. Das ist wie
Automatische Suche verwaltet die Abfragezeichenfolge. Sie können diese Zeichenfolge bearbeiten, um sie zu ändern
die Abfragezeichenfolge; aber nur in qid/index.html. Der Text fragen Benutzer is
besonders und wird erzwingen Automatische Suche um die Suchzeichenfolge von anzufordern
Benutzer.


Der zwischen den Klammern enthaltene Text ist die Suchmaschine. Andere Motoren
Unterstützt werden HotBot und Lycos. Sie können diese Zeichenfolge bearbeiten, um die zu ändern
Motor verwendet; aber nur in qid/index.html. Der Text fragen Benutzer ist etwas Besonderes und
Willenskraft Automatische Suche um die Suchzeichenfolge vom Benutzer anzufordern.


Der zwischen den Klammern enthaltene Text gibt die Abfrageoptionen an. Mehrere
Vorkommen dieses Befehls dürfen mehrere Optionen angeben.


Der zwischen den Klammern enthaltene Text ist der URL-Filter. Das ist wie
Automatische Suche pflegt den Filter. Auch hier können Sie diese Zeichenfolge bearbeiten, um sie zu ändern
die Abfragezeichenfolge; aber nur in qid/index.html. Der Text fragen Benutzer is
besonders und wird erzwingen Automatische Suche um den Benutzer (STDIN) nach der Abfrage zu fragen
Zeichenfolge. Beim Einrichten der ersten Suche müssen Sie sie bearbeiten first_index.html,
nicht qid/index.html. Der URL-Filter ist ein standardmäßiger Perl5-Filter
Ausdruck. Nicht übereinstimmende URLs werden beibehalten.

.*
Der in diesem Tag enthaltene Text wird am Ende der Ausgabe platziert
Seite. Dies ist ein guter Ort, um Navigation, Informationen zum Seiteneigentümer usw. einzufügen.
usw.

Der Rest der Tags fällt in ein Triplett von ~Überschrift, ~Vorlage und ~, wo ~ ist
Zusammenfassung, Wöchentlich, Angehängt und Ausgesetzt. Die Unterabschnitte erscheinen in der angegebenen Reihenfolge. Zu
einen Abschnitt erzeugen Automatische Suche gibt die Überschrift, die Vorlage, den Abschnitt und n Kopien davon aus
die formatierten Daten und einen /Abschnitt. Die Tags und ihre Funktion sind:

~Heading Das Heading-Tag identifiziert die Überschrift für einen Abschnitt der Ausgabedatei.
Die Zusammenfassungsüberschrift ist für den zusammenfassenden Teil usw. vorgesehen. Der Abschnitt kann sein
leer (z. B. Suspended) und daher wird keine Überschrift ausgegeben.

~Template Das Template-Tag gibt an, wie jedes Element formatiert werden soll. Einfacher Text
Ersetzung wird verwendet, um die Vorlage in den tatsächlichen Ausgabetext zu ändern.
Der zu ersetzende Text wird in Großbuchstaben vermerkt.

~ Dieses Tag wird verwendet, um den Abschnitt zu finden (Zusammenfassung, Wöchentlich usw.). Das
Der Abschnitt stellt die tatsächlichen n Datenelemente dar.

Sie können diese Werte im bearbeiten qid/index.html Seite einer bestehenden Suche. Die Datei
first_index.html (im Verzeichnis oben Pfund) wird als Standardvorlage für neue verwendet
Abfragen.

Beispiele dieser Dateien finden Sie auf den folgenden Seiten
"http://www.isi.edu/lsam/tools/autosearch/", oder in der von einem neuen generierten Ausgabe
Automatische Suche.

Nutzen Sie AutoSearchp online über die Dienste von onworks.net