AutoSearchp - Online na nuvem

PROGRAMA:

NOME

AutoSearch - um aplicativo de rastreamento de pesquisa na web

SINOPSE

AutoSearch [--stats] [--verbose] -n "Nome da consulta" -s "string de consulta" - motor do motor [--mail
voce@where.com] [--options "opt = val"] ... [--filter "filter"] [--host host] [--port port]
[--userid bbunny --password c4rr0t5] [--ignore_channels KABC, KCBS, KNBC] qid

AutoSearch --VERSION AutoSearch --ajuda AutoSearch --man

DESCRIÇÃO

Pesquisa automatica realiza uma pesquisa baseada na web e coloca o conjunto de resultados em qid / index.html.
Pesquisas subsequentes (ou seja, o segundo formulário acima) Pesquisa automatica determinar quais mudanças (se
any) ocorreu com os resultados enviados desde a última execução. Essas mudanças incrementais são
registada em qid / AAAAMMDD.html.

Pesquisa automatica é passível de ser executado como um cron trabalho porque todos os parâmetros de entrada são salvos
nas páginas da web. Pesquisa automatica pode atuar como um agente de consulta automatizado para uma pesquisa específica.
Os arquivos de saída são projetados para ser um conjunto de páginas da web para exibir facilmente o conjunto de resultados
com um navegador da web.

Exemplo:

AutoSearch -n 'Replicação LSAM'
-s '"replicação lsam"'
-e AltaVista
consulta_replicação

Esta consulta (que deve estar toda em uma linha) cria um diretório replication_query e
preenche-o com o resultado fascinante da consulta do AltaVista sobre "replicação lsam", com
páginas intituladas `` Replicação LSAM ''. (Observe a citação: as aspas simples em '"lsam
replicação "'são para o shell, as aspas duplas são para o AltaVista pesquisar o
frase em vez de palavras separadas.)

Um exemplo mais complicado:

AutoSearch -n 'Links externos para LSAM'
-s '(link: www.isi.edu/lsam ou link: www.isi.edu/~lsam) -url: isi.edu'
-e AltaVista :: AdvancedWeb
-o frio = quente

Esta consulta faz uma pesquisa avançada do AltaVista e especifica a (hipotética) `` frieza ''
opção para o mecanismo de pesquisa.

OPÇÕES

"qid"
O pergunta identificador especifica o diretório no qual todos os arquivos relacionados a este
a consulta e os resultados da pesquisa serão publicados. Pode ser um caminho absoluto ou relativo
do cwd. Se o diretório não existir, ele será criado e uma nova pesquisa
iniciado.

"--Estatísticas"
Mostrar estatísticas de pesquisa: a string de consulta, número de ocorrências, número de ocorrências filtradas,
string de filtro, número de ocorrências suspensas (excluídas), tamanho do conjunto anterior, conjunto atual
tamanho, etc.

"-v" ou "--verbose"
Detalhado: envia mensagens e avisos adicionais.

"-n" ou "--qn" ou "--queryname"
Especifique o nome da consulta. O nome da consulta é usado como um título nas páginas da web,
portanto, deve ser uma versão de aparência 'agradável' da string de consulta.

"-s" ou "--qs" ou "--querystring"
Especifique a string de consulta. A string de consulta é a string de caracteres que será
submetido ao mecanismo de pesquisa. Você pode incluir caracteres especiais para agrupar ou para
qualificar a pesquisa.

"-e" ou "--engine"
Especifique o mecanismo de pesquisa. A string de consulta será enviada ao usuário especificado
mecanismo de busca.

Em muitos casos, existem versões especializadas de motores de busca. Por exemplo,
AltaVista :: AdvancedWeb e AltaVista :: Notícias permitir pesquisas mais poderosas e Usenet.
Consulte o AltaVista ou a página do manual do seu mecanismo de pesquisa para obter detalhes sobre
variações.

"--listnewurls"
Além de toda a manutenção normal de arquivos, imprima todos os novos URLs em STDOUT, um por
linha.

"-o" ou "--opções"
Especifique as opções de consulta. As opções de consulta serão submetidas à pesquisa do usuário
motor com a string de consulta. Este recurso permite a modificação da string de consulta
para um mecanismo de pesquisa ou opção específica. Mais de uma opção de consulta pode ser especificada.

Exemplo: "-o what = news" faz com que o AltaVista pesquise na Usenet. Embora isso funcione, o
o mecanismo preferido neste caso seria "-e AltaVista :: Notícias" ou "-e
AltaVista :: AdvancedNews ". As opções destinam-se ao uso interno ou especializado.

"-f" ou "--uf" ou "--urlfilter"
Esta opção especifica uma expressão regular que será comparada com os URLs de
quaisquer resultados; se eles corresponderem à expressão regular que não diferencia maiúsculas de minúsculas, eles serão
removido do conjunto de resultados.

Exemplo: "-f '. * \. Isi \ .edu'" evita todas as páginas da web do ISI.

"--cleanup i"
Exclua todos os vestígios de resultados da consulta de mais de um dia atrás. Se --cleanup for fornecido,
todas as outras opções, exceto qid, serão ignoradas.

"--cmdline"
Reconstrua a linha de comando completa (AutoSearch e todos os seus argumentos) que foi usada
para criar os resultados da consulta. A linha de comando será exibida em STDERR. Se --cmdline for
dado, todas as outras opções além de qid serão ignoradas.

"--mail usuário @ endereço" ou "-m usuário @ endereço"
Após a conclusão da pesquisa, envie um e-mail para esse usuário, listando os NOVOS resultados. E-mail é
Formato HTML. Requer o Email :: Send e módulos relacionados. Se você enviar e-mail através de
um servidor SMTP, você deve definir a variável de ambiente SMTPSERVER para o nome do seu servidor ou IP
Morada. Se o seu servidor SMTP requer senha, você deve definir as variáveis ​​de ambiente
SMTPUSERNAME e SMTPPASSWORD. Se você enviar e-mail via sendmail, você deve definir
variável de ambiente SENDMAIL se o executável sendmail não estiver no caminho.

"--email do usuário @ endereço"
Se o seu servidor de e-mail de saída rejeitar e-mail de certos usuários, você pode usar este
argumento para definir o cabeçalho From :.

"--userid bbunny"
Se o mecanismo de pesquisa exigir um login / senha (por exemplo, Ebay :: Concluído), use-o.

"--password Carr0t5"
Se o mecanismo de pesquisa requer um login / senha (por exemplo, Ebay :: Mature), use-o.

DESCRIÇÃO

Pesquisa automatica envia uma consulta a um mecanismo de pesquisa, produz páginas HTML que refletem o conjunto de
'hits' (resultados de pesquisa filtrados) retornados pelo mecanismo de pesquisa e rastreia esses resultados
hora extra. O URL e o título são exibidos no qid / index.html, o URL, o título e
descrição são exibidos nos arquivos 'semanais'.

Para organizar esses resultados, cada resultado da pesquisa é colocado em um diretório de informações de consulta
(qid). O diretório torna-se o 'identificador' dos resultados da pesquisa, uma maneira fácil de rastrear um conjunto de
resultados. Assim, um qid de "/ usr / local / htdocs / lsam / autosearch / load_balancing" pode localizar
os resultados em seu servidor da web em "http://www.isi.edu/lsam/autosearch/load_balancing".

Dentro do diretório qid você encontrará arquivos relacionados a esta consulta. O arquivo principal é
index.html, que reflete os resultados da pesquisa mais recentes. Cada hit não filtrado para cada
a pesquisa é armazenada em index.html. Quando um hit não é mais encontrado pelo mecanismo de pesquisa, é um
removido de index.html. À medida que novos resultados para uma pesquisa são retornados do mecanismo de pesquisa
eles são colocados em index.html.

No fundo do index.html, há um título "Resultados da pesquisa semanal", que é atualizado
cada vez que a pesquisa é enviada (consulte "PESQUISA AUTOMATIZADA"). A lista de pesquisas é
armazenados em ordem cronológica reversa. Execuções que não fornecem nenhuma informação nova são
identificado com

Nenhum resultado exclusivo encontrado para pesquisa em

Execuções que contêm alterações são identificadas por

Resultados da pesquisa na web para pesquisa em

que terá um link para uma página detalhando as mudanças daquela execução.

Os resultados detalhados da pesquisa são anotados em arquivos semanais. Esses arquivos são nomeados AAAAMMDD.html
e são armazenados no diretório qid. Os arquivos semanais incluem O URL, título e um o
descrição (se disponível). O título é um link para a página da web original.

AUTOMATIZADO PROCURANDO

Em sistemas semelhantes ao UNIX, cron(1) pode ser usado para estabelecer pesquisas periódicas e as páginas da web
será mantido por Pesquisa automatica. Para estabelecer a primeira pesquisa, use o primeiro exemplo
sob SINOPSE. Você deve especificar o qid, o nome da consulta e a string de consulta. Se algum dos
itens estão faltando, você será solicitado interativamente sobre os itens faltantes.

Assim que a primeira pesquisa for concluída, você pode refazê-la com o segundo formulário em
SINOPSE.

Uma entrada cron como:

0 3 * * 1 /nfs/u1/wls/AutoSearch.pl / www / div7 / lsam / autosearch / caching

pode ser usado para executar a pesquisa todas as segundas-feiras às 3:00. O nome da consulta e a string de consulta
pode ser repetido; mas eles não serão usados. Isso significa que com uma linha cron como:

0 3 * * 1 /nfs/u1/wls/AutoSearch.pl / www / div7 / lsam / autosearch / caching -n caching -s caching

toda uma nova série de pesquisa pode ser originada por

rm -r / www / div7 / lsam / autosearch / caching

No entanto, a única razão para iniciar uma nova série de pesquisa seria jogar fora o antigo
arquivos semanais.

Não recomendamos a execução de pesquisas mais de uma vez por dia, mas se sim, os arquivos por execução
será atualizado no local. Todas as alterações são adicionadas à página com o comentário "Recentemente
Adicionado: "; e as exclusões são indicadas com" Suspenso recentemente :. "

MUDANDO A OLHE OF A PÁGINAS

O formato básico dessas duas páginas é simples e personalizável. Um requisito é que
a estrutura básica permanece inalterada. Comentários HTML são usados ​​para identificar seções do
documento. Quase tudo pode ser alterado, exceto as strings que identificam o
seção começa e termina.

Tags dignas de nota e seus significados:

. *
O texto contido nesta tag é colocado no topo da saída
página. Se o texto contém Pesquisa automatica SITE Busca, então o nome da consulta
irá substituí-lo. Se o texto não contém esta string mágica e é
a primeira pesquisa, o usuário será solicitado a fornecer um nome de consulta.


O texto contido entre as chaves é a string de consulta. É assim
Pesquisa automatica mantém a string de consulta. Você pode editar esta string para mudar
a string de consulta; mas apenas em qid / index.html. O texto perguntar usuário is
especial e vai forçar Pesquisa automatica para solicitar a string de pesquisa do
usuário.


O texto contido entre colchetes é o mecanismo de busca. Outros motores
suportados são HotBot e Lycos. Você pode editar esta string para alterar o
motor usado; mas apenas em qid / index.html. O texto perguntar usuário é especial e
forçará Pesquisa automatica para solicitar a string de pesquisa do usuário.


O texto contido entre as chaves especifica as opções de consulta. Múltiplo
as ocorrências deste comando são permitidas para especificar várias opções.


O texto contido entre colchetes é o filtro de URL. É assim
Pesquisa automatica mantém o filtro. Novamente você pode editar esta string para mudar
a string de consulta; mas apenas em qid / index.html. O texto perguntar usuário is
especial e vai forçar Pesquisa automatica para pedir ao usuário (STDIN) a consulta
fragmento. Ao configurar a primeira pesquisa, você deve editar primeiro_index.html,
não qid / index.html. O filtro de URL é um padrão perl5 regular
expressão. URLs que não correspondem serão mantidos.

. *
O texto contido nesta tag é colocado na parte inferior da saída
página. Este é um bom lugar para colocar informações de navegação, do proprietário da página,
etc.

O restante das marcas cai em um trio de ~ Título, ~ Modelo e ~, onde ~ está
Resumo, semanal, anexado e suspenso. As subseções aparecem na ordem fornecida. Para
produzir uma seção Pesquisa automatica produz o título, o modelo, a seção, n cópias de
os dados formatados e uma seção /. As tags e suas funções são:

~ Título A tag de título identifica o título de uma seção do arquivo de saída.
O cabeçalho do resumo é para a parte do resumo, etc. A seção pode ser
vazio (por exemplo, suspenso) e, portanto, nenhum cabeçalho é exibido.

~ Modelo A tag de modelo identifica como cada item deve ser formatado. Texto simples
A substituição é usada para alterar o modelo para o texto de saída real.
O texto a ser substituído é anotado em ALLCAPS.

~ Esta tag é usada para localizar a seção (Resumo, Semanal, etc.). Esse
seção representa os n-itens reais de dados.

Você pode editar esses valores no qid / index.html página de uma pesquisa existente. O arquivo
primeiro_index.html (no diretório acima libra) será usado como um modelo padrão para novos
consultas.

Exemplos desses arquivos podem ser vistos nas páginas sob
"http://www.isi.edu/lsam/tools/autosearch/", ou na saída gerada por um novo
Pesquisa automatica.

Use AutoSearchp online usando serviços onworks.net