queue_splitter3 - Online di Cloud

PROGRAM:

NAMA

queue_splitter3 - Konsumen PgQ yang mengangkut acara dari satu antrian ke beberapa target
antrian

RINGKASAN

queue_splitter3 [switch] config.ini

DESKRIPSI

queue_spliter adalah konsumen PgQ yang mengangkut peristiwa dari antrian sumber ke beberapa target
antrian. bidang ev_extra1 di setiap acara menunjukkan ke antrian target mana yang harus dituju.
(pgq.logutriga() meletakkan nama tabel di sana.)

Salah satu kasus penggunaan adalah untuk memindahkan peristiwa dari database OLTP ke server pemrosesan batch. Dengan menggunakan
pemisah antrian dimungkinkan untuk memindahkan semua jenis acara untuk pemrosesan batch dengan satu
konsumen sehingga menjaga database OLTP tidak terlalu ramai.

MULAI CEPAT

Pengaturan dan penggunaan dasar queue_splitter dapat diringkas dengan langkah-langkah berikut:

1. pgq harus diinstal baik di database sumber maupun target. Lihat halaman manual pgqadm untuk
rincian. Basis data target juga harus memiliki skema pgq_ext yang diinstal.

2. edit file konfigurasi queue_splitter, katakan
antrian_splitter_sourcedb_sourceq_targetdb.ini

3. buat antrian sumber dan target

$ pgqadm.py ticker.ini buat

4. luncurkan pemisah antrian dalam mode daemon

$ antrian_splitter3 antrian_splitter_sourcedb_sourceq_targetdb.ini -d

5. mulai memproduksi dan mengonsumsi acara

KONFIG

Umum konfigurasi parameter
nama Pekerjaan
Nama untuk pekerjaan partikulat yang dilakukan skrip. Script akan masuk dengan nama ini untuk
logdb/logserver. Nama ini juga digunakan sebagai default untuk nama konsumen PgQ. Harus
unik.

file pid
Lokasi untuk file pid. Jika tidak diberikan, skrip tidak diizinkan untuk melakukan daemonisasi.

file log
Lokasi untuk file log.

loop_delay
Jika proses terus berjalan, berapa lama untuk tidur setelah setiap loop kerja, dalam hitungan detik.
Standar: 1.

koneksi_seumur hidup
Tutup dan sambungkan kembali koneksi database lama.

gunakan_skylog
foo.

Umum hal konsumen parameter
antrian_nama
Nama antrian untuk dilampirkan. Tidak ada standar.

nama_konsumen
ID Konsumen yang akan digunakan saat mendaftar. Bawaan: %(nama_pekerjaan)s

antrian_pemisah parameter
src_db
Basis data sumber.

dst_db
Basis data sasaran.

Example config fillet
[antrian_splitter3]
job_name = antrian_spliter_sourcedb_sourceq_targetdb

src_db = dbname=sumberb
dst_db = namadb=targetdb

pgq_queue_name = sumberq

file log = ~/log/%(nama_pekerjaan)s.log
file pid = ~/pid/%(nama_pekerjaan)s.pid

COMMAND GARIS BERALIH

Sakelar berikut adalah umum untuk semua program Python berbasis skytools.DBScript.

-h, --bantuan
tampilkan pesan bantuan dan keluar

-q, --tenang
membuat program diam

-v, --bertele-tele
buat program lebih verbose

-d, --daemon
membuat program menjadi latar belakang

--ini
tampilkan file konfigurasi template yang dikomentari.

Sakelar berikut digunakan untuk mengontrol proses yang sudah berjalan. Pidfile dibaca dari
config kemudian sinyal dikirim ke proses id yang ditentukan di sana.

-r, --muat ulang
muat ulang konfigurasi (kirim SIGHUP)

-s, --berhenti
hentikan program dengan aman (kirim SIGINT)

-k, --bunuh
bunuh program segera (kirim SIGTERM)

KASUS PENGGUNAAN

Bagaimana memproses peristiwa yang dibuat di database sekunder dengan beberapa antrian tetapi hanya memiliki
satu antrian di database utama. Ini juga menunjukkan cara memasukkan acara ke dalam antrian dengan
SQL biasa dengan mudah.

BUAT SKEMA antrian;
BUAT TABEL antrian.event1 (
-- ini harus sesuai dengan struktur internal acara
-- di sini Anda dapat memeriksa apakah data yang benar dimasukkan ke dalam antrean
id int4,
teks nama,
-- tidak diperlukan, tetapi bagus untuk dimiliki:
kunci utama (id)
);
-- masukkan data ke dalam antrian dalam format urlencoded, lewati penyisipan yang sebenarnya
BUAT PEMICU redirect_queue1_trg SEBELUM MASUKKAN PADA antrian.event1
UNTUK SETIAP JALAN JALANKAN PROSEDUR pgq.logutriga('singlequeue', 'SKIP');
-- ulangi di atas untuk event2

-- sekarang data dapat dimasukkan:
INSERT INTO queue.event1 (id, nama) VALUES (1, 'pengguna');

Jika queue_splitter diletakkan di "singlequeue", itu menyebarkan acara sesuai target ke antrian
bernama "queue.event1", "queue.event2", dll. Ini membuat beban PgQ pada basis data utama minimal
baik dari segi CPU maupun dari segi pemeliharaan.

01/15/2016 ANTRIAN_SPLITTER3(1)

Gunakan queue_splitter3 online menggunakan layanan onworks.net