queue_mover3 - On-line na nuvem

PROGRAMA:

NOME

queue_mover3 - Consumidor PgQ que copia dados de uma fila para outra.

SINOPSE

queue_mover3 [switches] config.ini

DESCRIÇÃO

queue_mover é o consumidor PgQ que transporta eventos da fila de origem para a fila de destino.
Um caso de uso é quando os eventos são produzidos em vários bancos de dados, então o queue_mover é usado para
consolidar esses eventos em uma única fila que pode então ser processada pelos consumidores que
precisa lidar com esses eventos. Por exemplo, no caso de bancos de dados particionados, é conveniente
para mover eventos de cada partição para um banco de dados de fila central e depois processá-los
lá. Dessa forma, a configuração e as dependências dos bancos de dados partiton são mais simples e mais
robusto. Outro caso de uso é mover eventos do banco de dados OLTP para o servidor de processamento em lote.

Transacionalidade: os eventos serão inseridos como uma transação no lado alvo. Que significa
apenas batch_id precisa ser rastreado no lado do destino.

COMEÇO RÁPIDO

A configuração e o uso básicos do PgQ podem ser resumidos nas seguintes etapas:

1. O PgQ deve ser instalado nos bancos de dados de origem e de destino. Consulte a página de manual do pgqadm para
Detalhes.

2. O banco de dados de destino também deve ter o esquema pgq_ext instalado. É usado para manter a sincronização
entre dois bancos de dados.

3. Crie um arquivo de configuração queue_mover, digamos qmover_sourceq_to_targetdb.ini

4. criar filas de origem e destino

$ pgqadm.py sourcedb_ticker.ini criar
$ pgqadm.py targetdb_ticker.ini criar

5. Inicie o movimentador de filas no modo daemon

$ queue_mover3 -d qmover_sourceq_to_targetdb.ini

6. começar a produzir e consumir eventos

CONFIG

comum • Configuração parâmetros
nome_do_trabalho
Nome do trabalho específico que o script executa. O script irá logar com este nome para
logdb / logserver. O nome também é usado como padrão para o nome do consumidor PgQ. Deveria ser
única.

arquivo pid
Localização do arquivo pid. Se não for fornecido, o script não tem permissão para daemonizar.

arquivo de log
Localização do arquivo de log.

loop_delay
Se o processo estiver em execução contínua, quanto tempo para dormir após cada loop de trabalho, em segundos.
Padrão: 1.

tempo de vida da conexão
Feche e reconecte as conexões de banco de dados mais antigas.

use_skylog
foo.

comum PgQ consumidor parâmetros
nome_da_fila
Nome da fila para anexar. Nenhum padrão.

nome_consumidor
ID do consumidor para usar ao se registrar. Padrão:% (job_name) s

fila_mover parâmetros
src_db
Banco de dados de origem.

dst_db
Banco de dados de destino.

dst_queue_name
Nome da fila de destino.

Exemplo configuração lima
[queue_mover3]
job_name = eventlog_to_target_mover
src_db = dbname = sourcedb
dst_db = dbname = targetdb
pgq_queue_name = log de eventos
dst_queue_name = copy_of_eventlog
arquivopid = log/%(nome_do_trabalho)s.pid
arquivo de log = pid/%(nome_do_trabalho)s.log

COMANDO LINHA COMUTA

As seguintes opções são comuns a todos os programas Python baseados em skytools.DBScript.

-h, --ajuda
mostrar mensagem de ajuda e sair

-q, --quieto
faça o programa silencioso

-v, --verboso
tornar o programa mais detalhado

-d, --daemon
fazer o programa ir para o fundo

--ini
mostrar o arquivo de configuração do modelo comentado.

As seguintes opções são usadas para controlar o processo já em execução. O pidfile é lido de
config, em seguida, o sinal é enviado para o id de processo especificado lá.

-r, --recarregar
recarregar configuração (enviar SIGHUP)

-s, --parar
parar o programa com segurança (enviar SIGINT)

-k, --matar
matar programa imediatamente (enviar SIGTERM)

Use queue_mover3 on-line usando serviços onworks.net