urlgrabber - On-line na nuvem

PROGRAMA:

NOME

urlgrabber - um captador de URL de protocolo cruzado de alto nível.

SINOPSE

URLGrabber [OPÇÕES] URL [ARQUIVO]

DESCRIÇÃO

urlgrabber é um programa binário e módulo python para buscar arquivos. Ele foi projetado para ser
usado em programas que precisam de recursos comuns (mas não necessariamente simples) de busca de URL.

OPÇÕES

--ajuda, -h
página de ajuda especificando opções disponíveis para o programa binário.

--copy-local
ignorado, exceto para urls file://, caso em que especifica se urlgrab deve
ainda faça uma cópia do arquivo ou simplesmente aponte para a cópia existente.

--throttle=NÚMERO
se for um int, é o limite de aceleração de bytes/segundo. Se for um carro alegórico, é o primeiro
multiplicado pela largura de banda. Se acelerador == 0, o acelerador está desabilitado. Se Nenhum, o
o padrão de nível de módulo (que pode ser definido com set_throttle) é usado.

--bandwidth=NÚMERO
a largura de banda máxima nominal em bytes/segundo. Se o acelerador for flutuante e a largura de banda == 0,
a aceleração está desativada. Se Nenhum, o padrão de nível de módulo (que pode ser definido com
set_bandwidth) é usado.

--range=RANGE
uma tupla no formato first_byte,last_byte descrevendo um intervalo de bytes a ser recuperado. Qualquer
ou ambos os valores podem ser especificados. Se first_byte for Nenhum, o deslocamento de byte 0 será
assumido. Se last_byte for None, o último byte disponível será assumido. Observe que ambos
Os valores first e last_byte são inclusivos, portanto, um intervalo de (10,11) retornaria o 10º
e 11º bytes do recurso.

--user-agent=STR
a string do agente do usuário é fornecida se o URL for HTTP.

--repetir=NÚMERO
o número de vezes para tentar novamente a captura antes de escapar. Se for zero, ele tentará novamente
para sempre. Isso foi intencional... realmente, foi :). Se este valor não for fornecido ou
é fornecido, mas é None, não ocorre nova tentativa.

--retrycodes
uma sequência de códigos de erro (valores de e.errno) para os quais deve tentar novamente. Veja o documento em
URLGrabError para mais detalhes sobre isso. os códigos de nova tentativa são padronizados como -1,2,4,5,6,7 se não
especificado explicitamente.

MÓDULO USO EXEMPLOS

Em sua forma mais simples, o urlgrabber pode ser um substituto para o open do urllib2, ou mesmo para o python
arquivo se você estiver apenas lendo:

de urlgrabber importar urlopen
fo = urlopen(url)
dados = fo.read()
fo.fechar()

Aqui, o URL pode ser http, https, ftp ou arquivo. Também é muito inteligente, então se você apenas der
é algo como /tmp/foo, ele vai descobrir. Para se divertir ainda mais, você também pode fazer:

de urlgrabber importar urlopen
local_filename = urlgrab(url) # pega uma cópia local do arquivo
data = urlread(url) # apenas lê os dados em uma string

Agora, como urllib2, o que realmente está acontecendo aqui é que você está usando um objeto em nível de módulo
(chamado de grabber) que serve como padrão. Tudo bem, mas você pode querer
para obter sua própria versão privada por alguns motivos:

* é um pouco feio modificar o grabber padrão porque você tem que
alcance o módulo para fazer isso
* você poderá entrar em conflitos se diferentes partes do código
modifique o grabber padrão e, portanto, espere diferentes
comportamento

Portanto, provavelmente é melhor você fazer o seu próprio. Isso também lhe dá muitos
flexibilidade para mais tarde, como você verá:

de urlgrabber.grabber importar URLGrabber
g = URLGrabber()
dados = g.urlread(url)

Isso é bom porque você pode especificar opções ao criar o grabber. Por exemplo,
vamos ativar o modo reget simples para que, se tivermos parte de um arquivo, só precisemos buscar
o resto:

de urlgrabber.grabber importar URLGrabber
g = URLGrabber(reget='simples')
nome_do_arquivo local = g.urlgrab(url)

As opções disponíveis estão listadas na documentação do módulo e geralmente podem ser especificadas
como padrão no nível do grabber ou como opções para o método:

de urlgrabber.grabber importar URLGrabber
g = URLGrabber(reget='simples')
local_filename = g.urlgrab(url, filename=Nenhum, reget=Nenhum)

AUTORES

Escrito por: Michael D. Stenner[email protected]>Ryan Tomayko
<[email protected]>

Esta página de manual foi escrita por Kevin Coyner[email protected]> para o sistema Debian
(mas pode ser usado por outros). Ele se baseia fortemente na documentação incluída no
módulo urlgraber. É concedida permissão para copiar, distribuir e/ou modificar este documento
sob os termos da GNU General Public License, Versão 2, qualquer versão posterior publicada
pela Free Software Foundation.

RECURSOS

Site principal: http://linux.duke.edu/projects/urlgrabber/

04/09/2007 URLGRABBER(1).

Use urlgrabber online usando serviços onworks.net