Це команда pgloader, яку можна запустити в постачальнику безкоштовного хостингу OnWorks за допомогою однієї з наших численних безкоштовних робочих станцій, таких як Ubuntu Online, Fedora Online, онлайн-емулятор Windows або онлайн-емулятор MAC OS.
ПРОГРАМА:
ІМ'Я
ploader - Завантажувач даних PostgreSQL
СИНТАКСИС
ploader [ ] [ ]...
ploader [ ] ЦІЛЬ ДЖЕРЕЛО
ОПИС
pgloader завантажує дані з різних джерел у PostgreSQL. Він може перетворювати дані
читає на льоту та надсилає необроблений SQL до та після завантаження. Він використовує КОПІЯ
Протокол PostgreSQL для потокової передачі даних на сервер і управління помилками шляхом заповнення a
пара reject.dat та reject.log файли.
pgloader працює або за допомогою команд, які зчитуються з файлів:
ploader commands.load
або за допомогою аргументів і параметрів, наданих у командному рядку:
ploader ЦІЛЬ ДЖЕРЕЛА
АРГУМЕНТИ
Аргументами ploader можуть бути стільки завантажуваних файлів, скільки потрібно, або пара з’єднань
рядків до певного вхідного файлу.
ДЖЕРЕЛО ПІДКЛЮЧЕННЯ STRING
Формат рядка вихідного підключення виглядає наступним чином:
формат:///absolute/path/to/file.ext
формат://./relative/path/to/file.ext
Де формат може бути одним із CSV, фіксованою, скопіювати, дбф, db3 or ixf.
db://user:pass@host:port/dbname
Де може бути db sqlite, MySQL or mssql.
При використанні вихідного формату на основі файлу pgloader також підтримує оригінальну вибірку файлу
з http-розташування та розпакування архіву, якщо потрібно. В такому випадку це необхідно
використовувати --тип можливість вказати очікуваний формат файлу. Дивіться приклади
нижче.
Також зауважте, що деякі формати файлів вимагають опису деяких деталей реалізації, наприклад
стовпці для читання та роздільники та цитати під час завантаження з csv.
Для більш складних сценаріїв завантаження вам потрібно буде написати повну команду завантаження
синтаксис, описаний далі в цьому документі.
TARGET ПІДКЛЮЧЕННЯ STRING
Формат цільового рядка підключення детально описано далі в цьому документі, див
Розділ рядок підключення.
ВАРІАНТИ
ЗАПИТ ВАРІАНТИ
Використовуйте ці параметри, якщо хочете дізнатися більше про те, як користуватися ploader, як ці варіанти
викличе ploader не завантажувати будь-які дані.
-h, --допомога
Показати підсумок використання команд і вийти.
-V, -- версія
Показати рядок версії ploader і вийти.
-E, --спискові кодування
Перелік відомих кодувань у цій версії ploader.
-U, --upgrade-config
Проаналізуйте дані файли в командному рядку як ploader.conf файли з INI синтаксис
який використовувався у pgloader версії 2.x, і вивести новий синтаксис команди для
ploader на стандартному виводі.
Загальні відомості ВАРІАНТИ
Ці параметри призначені для налаштування ploader поведінка під час завантаження даних.
-v, -багатослівний
Будьте багатослівними.
-q, --спокійно
Будь тихим.
-d, --відлагоджувати
Показувати інформаційні повідомлення рівня налагодження.
-D, --root-dir
Встановіть кореневий робочий каталог (за замовчуванням «/tmp/ploader»).
-L, --файл журналу
Встановіть файл журналу pgloader (за замовчуванням «/tmp/pgloader.log»).
--log-min-messages
Мінімальний рівень докладності, необхідний для того, щоб повідомлення журналу потрапило до файлу журналу. Один з
критичний, журнал, помилка, попередження, повідомлення, інформація або налагодження.
--client-min-messages
Мінімальний рівень докладності, необхідний для того, щоб повідомлення журналу перейшло на консоль. Один з
критичний, журнал, помилка, попередження, повідомлення, інформація або налагодження.
-S, -- резюме
Ім'я файлу, куди скопіювати підсумок. Якщо відносне, ім’я файлу таке
розширено в *кореневий каталог*.
Формат назви файлу за замовчуванням дорівнює людина читабельний. Можна мати
вихід у форматі, зручному для машини, наприклад CSV, КОПІЯ (Власна COPY PostgreSQL
формат) або JSON шляхом вказівки імені файлу з розширенням відп. . Csv, .копіювати or
.json.
-l , --load-lisp-файл
Вкажіть шепелявість файл щоб зібрати та завантажити в образ ploader перед читанням
команди, що дозволяють визначити додаткову функцію перетворення. Ці функції повинні
бути визначені в ploader.transforms пакет. Цей параметр може відображатися більше ніж
один раз у командному рядку.
--самостійне оновлення :
Вкажіть a каталог де знайти джерела ploader, щоб один із перших
він динамічно завантажує (і компілює в машинний код) інший
сама версія, як правило, новіша, як-от зовсім нещодавня перевірка git.
КОМАНДА ЛІНІЯ ТІЛЬКИ ОПЕРАЦІЇ
Ці параметри призначені для використання під час використання ploader скоріше лише з командного рядка
ніж за допомогою командного файлу та розширених команд команд і синтаксичного аналізатора. У простих випадках можна
бути набагато простіше у використанні ДЖЕРЕЛО та TARGET безпосередньо в командному рядку, потім налаштуйте
завантаження з такими параметрами:
· --з "варіант":
Дозволяє налаштувати параметри з командного рядка. Ви можете використовувати цю опцію скільки завгодно разів
ти хочеш. Аргументи параметра мають слідувати за З речення для типу джерела
ДЖЕРЕЛО специфікації, як описано далі в цьому документі.
· --набір "guc_name=´value´"
Дозволяє налаштувати конфігурацію PostgreSQL з командного рядка. Зверніть увагу, що опція
синтаксичний аналіз такий самий, як і при використанні з УСТАНОВКА командне речення, зокрема ви повинні
закласти значення guc в одинарні лапки.
· --поле "..."
Дозволяє встановити визначення вихідного поля. Поля накопичуються в порядку, наведеному на
командний рядок. Можна використовувати або а --поле параметр для кожного поля в джерелі
файл, або розділити визначення полів комою, як це було б у файлі ВІД
ПОЛЯ пункт.
· --лиття "..."
Дозволяє встановити конкретне правило переведення для завантаження даних.
· --тип csv|виправлено|db3|ixf|sqlite|mysql|mssql
Дозволяє примусово вказати тип джерела у випадку, коли ДЖЕРЕЛО розбір не задовольняє.
· --кодування
Встановіть кодування вихідного файлу для завантаження даних.
· --до того
Проаналізуйте задане ім’я файлу для запитів SQL і запустіть їх у цільовій базі даних раніше
завантаження даних з джерела. Запити аналізує сам ploader: вони потрібні
закінчується крапкою з комою (;), і файл може містити \i or \ir команди до
включати інший файл.
· --після
Проаналізуйте задане ім’я файлу для запитів SQL та запустіть їх у цільовій базі даних
завантаживши дані з джерела. Запити аналізуються так само, як і with
--до того варіант, див. вище.
БІЛЬШЕ DEBUG ІНФОРМАЦІЯ
Щоб отримати максимальну кількість налагоджувальної інформації, ви можете використовувати обидва -багатослівний і
--відлагоджувати перемикається одночасно, що еквівалентно примовлянню --client-min-messages
дані. Потім у повідомленнях журналу відображатимуться дані, які обробляються, у випадках, коли
код має явну підтримку для цього.
ВИКОРИСТАННЯ ПРИКЛАДИ
Перегляньте параметри командного рядка та версію ploader:
ploader --довідка
ploader --версія
Loading від a комплекс команда
Використовуйте командний файл як аргумент команди pgloader, pgloader розбере цей файл і
виконати знайдені в ньому команди:
ploader --verbose ./test/csv-districts.load
CSV
Завантажте дані з файлу CSV в уже існуючу таблицю у вашій базі даних:
ploader -- введіть csv \
--ідентифікатор поля --поле поле \
--з скороченням \
--з "полями, що закінчуються ´,´" \
./test/data/matching-1.csv \
postgres:///pgloader?tablename=matching
У цьому прикладі все завантаження здійснюється з командного рядка, минаючи потребу в
повністю написати команду в синтаксисі команди ploader. Оскільки команди немає,
необхідну додаткову інформацію необхідно надати в командному рядку за допомогою --тип та
--поле та --з перемикачі
Для документації про доступні синтаксиси для --поле та --з перемикачі, будь ласка
зверніться до розділу CSV пізніше на сторінці керівництва.
Зауважте також, що URI PostgreSQL містить ціль ім'я таблиці.
читання від STDIN
Джерела програми ploader на основі файлів можна завантажити зі стандартного введення, як показано нижче
приклад:
ploader -- введіть csv \
--поле "usps,geoid,aland,awater,aland_sqmi,awater_sqmi,intptlat,intptlong" \
--з "пропустити заголовок = 1" \
--з "полями, що закінчуються ´\t´" \
- \
postgresql:///pgloader?districts_longlat \
< test/data/2013_Gaz_113CDs_national.txt
Тире (-) символ як джерело використовується в означенні standard вхід, як зазвичай в Unix
командні рядки. За допомогою цієї техніки можна передавати стиснений вміст на ploader,
використовуючи канал Unix:
gunzip -c джерело.gz | ploader --type csv ... - pgsql:///target?foo
Loading від CSV доступний через HTTP
Ту саму команду, що й вище, також можна запустити, якщо файл CSV знайдено на a
віддалене розташування HTTP:
ploader -- введіть csv \
--поле "usps,geoid,aland,awater,aland_sqmi,awater_sqmi,intptlat,intptlong" \
--з "пропустити заголовок = 1" \
--з "полями, що закінчуються ´\t´" \
http://pgsql.tapoueh.org/temp/2013_Gaz_113CDs_national.txt \
postgresql:///pgloader?districts_longlat
У цьому випадку необхідно використовувати додаткові параметри, оскільки файл містить заголовок в один рядок
(найчастіше це назви стовпців, можуть бути повідомленням про авторські права). Крім того, в такому випадку ми
вказати всі поля прямо в одне --поле аргумент опції.
Знову ж таки, цільовий рядок підключення PostgreSQL повинен містити ім'я таблиці варіант і ти
повинні переконатися, що цільова таблиця існує і може відповідати даним. Ось команда SQL
використовується в цьому прикладі, якщо ви хочете спробувати це самостійно:
створити таблицю districts_longlat
(
текст usps,
текст геоїда,
Аланд Бігінт,
вода бігінт,
aland_sqmi подвійна точність,
awater_sqmi подвійна точність,
intptlat подвійна точність,
intptlong подвійної точності
);
Також зауважте, що та сама команда працюватиме проти архівованої версії тих самих даних,
наприклад http://pgsql.tapoueh.org/temp/2013_Gaz_113CDs_national.txt.gz.
Нарешті, важливо зазначити, що pgloader спочатку отримує вміст із URL-адреси HTTP
у локальний файл, а потім розгорніть архів, коли він буде визнаний, і тільки тоді
обробляє локально розгорнутий файл.
У деяких випадках через те, що pgloader не підтримує пряму підтримку формату вашого архіву, або
можливо, тому що розширення архіву неможливе у вашому середовищі, ви можете це зробити
потік вміст прямо з його віддаленого розташування в PostgreSQL. Ось як це зробити
що, використовуючи старий перевірений трюк Unix Pipes:
витися http://pgsql.tapoueh.org/temp/2013_Gaz_113CDs_national.txt.gz \
| gunzip -c \
| ploader -- введіть csv \
--поле "usps,geoid,aland,awater,aland_sqmi,awater_sqmi,intptlat,intptlong"
--з "пропустити заголовок = 1" \
--з "полями, що закінчуються ´\t´" \
- \
postgresql:///pgloader?districts_longlat
Тепер ОС буде піклуватися про потокову передачу та буферизацію між мережею та
команди та pgloader подбають про передачу даних до PostgreSQL.
Мігрує від SQLite
Наступна команда відкриє базу даних SQLite, виявить визначення її таблиць
включаючи індекси та зовнішні ключі, мігрувати ці визначення while лиття тип даних
специфікації до їх еквіваленту PostgreSQL, а потім перенести дані через:
створенийb newdb
pgloader ./test/sqlite/sqlite.db postgresql:///newdb
Мігрує від MySQL
Просто створіть базу даних, де розміщуватимуться дані та визначення MySQL, і попросіть ploader це зробити
міграція для вас в одному командному рядку:
створеноb pagila
ploader mysql://user@localhost/sakila postgresql:///pagila
Витяг an архів DBF файл від a HTTP віддалений розташування
pgloader може завантажити файл із HTTP, розархівувати його і лише потім відкрити
щоб виявити схему, потім завантажте дані:
створенийb foo
ploader --тип dbf http://www.insee.fr/fr/methodes/nomenclatures/cog/telechargement/2013/dbf/historiq2013.zip postgresql:///foo
Тут ploader не може вгадати тип джерела даних, який йому надається, тому
необхідно використовувати --тип перемикач командного рядка.
ПАРТІЇ І RETRY ПОВЕДІНКА
Щоб завантажити дані в PostgreSQL, pgloader використовує файл КОПІЯ протокол потокового передавання. Поки це те
швидший спосіб завантаження даних, КОПІЯ має важливий недолік: як тільки PostgreSQL видає файл
помилка з будь-яким бітом даних, надісланих йому, незалежно від проблеми, весь набір даних
відхилено PostgreSQL.
Щоб обійти це, ploader розрізає дані партії по 25000 рядків кожен, щоб коли
виникає проблема, вона впливає лише на велику кількість рядків даних. Кожна партія зберігається в пам'яті
в той час як КОПІЯ трансляція відбувається, щоб мати можливість обробляти помилки, якщо якісь трапилися.
Коли PostgreSQL відхиляє весь пакет, pgloader реєструє повідомлення про помилку, а потім ізолює
поганий рядок(и) із прийнятих шляхом повторної спроби пакетних рядків меншими партіями. Робити
що, ploader аналізує КОНТЕКСТ повідомлення про помилку від невдалої COPY, як повідомлення
містить номер рядка, де було знайдено помилку в пакеті, як показано нижче
приклад:
КОНТЕКСТ: помилки COPY, рядок 3, стовпець b: "2006-13-11"
Використовуючи цю інформацію, pgloader перезавантажить усі рядки в пакеті перед помилковим
один, зареєструйте помилковий варіант як відхилений, а потім спробуйте завантажити решту партії в
одна спроба, яка може містити або не містити інші помилкові дані.
В кінці завантаження, що містить відхилені рядки, ви знайдете два файли в файлі кореневий каталог
розташування, у каталозі, названому так само, як цільова база даних вашого налаштування. The
імена файлів є цільовою таблицею, а їх розширення .dat для відхилених даних і
.log для файлу, що містить повні журнали клієнтської сторони PostgreSQL про відхилені дані.
Команда .dat файл відформатований у PostgreSQL у текстовому форматі COPY, як задокументовано
http://www.postgresql.org/docs/9.2/static/sql-copy.html#AEN66609 .
A ПРИМІТКА ПРО НАС РЕЗУЛЬТАТИ
pgloader був розроблений з урахуванням продуктивності, з якою завжди можна впоратися
зростаючі потреби у завантаженні великих обсягів даних у PostgreSQL.
Основна архітектура, яку він використовує, — це стара модель каналу Unix, за яку відповідає потік
для завантаження даних (читання файлу CSV, запити MySQL тощо) та заповнення попередньо оброблених
дані в чергу. Інший поток подає з черги, застосувати ще кілька перетворень
до вхідних даних і потокової передачі кінцевого результату в PostgreSQL за допомогою протоколу COPY.
Коли надається файл, який PostgreSQL КОПІЯ команда знає, як аналізувати, а якщо файл
не містить помилкових даних, то pgloader ніколи не буде таким швидким, як просто використання
PostgreSQL КОПІЯ команда
Зауважте, що, хоча КОПІЯ Команда обмежена для читання або зі стандартного введення або
з локального файлу у файловій системі сервера, інструмент командного рядка psql реалізує a
\копіювати команда, яка знає, як передавати локальний файл клієнту через мережу та
на сервер PostgreSQL, використовуючи той самий протокол, що й pgloader.
ДЖЕРЕЛО ФОРМАТИ
ploader підтримує такі формати введення:
· csv, який включає також tsv та інші поширені варіанти, де ви можете змінити
роздільник і квотування правила і як бігти лапки себе;
· файл із фіксованими стовпцями, де ploader є достатньо гнучким, щоб пристосуватися до вихідних файлів
відсутні стовпці (обірвані фіксованою колонка файли існують);
· Файли, відформатовані PostgreSLQ COPY, дотримуючись документації COPY TEXT PostgreSQL,
такі як файли відхилення, підготовлені ploader;
· файли dbase, відомі як файл db3 або dbf;
· файли у форматі ixf, ixf – це двійковий формат зберігання від IBM;
· бази даних sqlite з повністю автоматизованим виявленням схеми та розширеними правилами приведення;
· бази даних mysql з повністю автоматизованим виявленням схеми та розширеними правилами приведення;
· Бази даних MS SQL з повністю автоматизованим виявленням схеми та розширеними правилами приведення.
PGLOADER КОМАНДИ СИНТАКС
pgloader реалізує мову, специфічну для домену, що дозволяє налаштувати завантаження складних даних
сценарії, які обробляють обчислювані стовпці та очищають вхідні дані на льоту. Для більш
складних сценаріїв завантаження даних, вам потрібно буде вивчити цей синтаксис DSL. Його
мав виглядати знайомим для DBA, будучи натхненним SQL, де це має сенс, але ні
зрештою стільки.
Команди ploader дотримуються тих самих глобальних граматичних правил. Кожен з них може підтримати
лише підмножина загальних параметрів і надати конкретні параметри.
ЗАВАНТАЖ
ВІД [ МАТИ ПОЛЯ ]
INTO [ ЦІЛЬНІ КОЛОНКИ ]
[ З ]
[ SET ]
[ ПЕРЕД ЗАВАНТАЖЕННЯМ [ ЗРОБИТИ | ВИКОНАТИ ] ... ]
[ ПІСЛЯ ЗАВАНТАЖЕННЯ [ ЗРОБИТИ | ВИКОНАТИ ] ... ]
;
Основні речення – це НАДАННЯ, З, INTO та З речення, які реалізує кожна команда.
Потім деяка команда реалізує УСТАНОВКА команда або деякі конкретні речення, такі як the CAST
пункт.
ЗАГАЛЬНИЙ ПОЛОЖЕННЯ
Деякі речення є загальними для всіх команд:
· З
Команда З речення вказує, звідки читати дані, і кожна команда вводить своє
власний варіант джерел. Наприклад, CSV джерело підтримує вбудований, stdin, то
ім'я файлу, ім'я файлу в лапках і a ФІЛЕНАМ ЗБІГАННЯ пункт (див. вище); тоді як
MySQL джерело підтримує лише специфікацію URI бази даних MySQL.
У всіх випадках, З речення може читати своє значення зі змінної середовища
при використанні форми GETENV «назва змінної»..
· INTO
URI підключення PostgreSQL повинен містити ім’я цільової таблиці, куди потрібно завантажити
дані в. Ця таблиця повинна бути вже створена в PostgreSQL і назва
може відповідати схемі.
Команда INTO URI підключення цільової бази даних можна проаналізувати зі значення середовища
змінна при використанні форми GETENV «назва змінної»..
Потім INTO параметр також підтримує додатковий список цільових стовпців, розділених комами,
які є або ім'ям введення поле або розділений пробілами список
ім’я цільового стовпця, його тип даних PostgreSQL та a ВИКОРИСТАННЯ вираз.
Команда ВИКОРИСТАННЯ Вираз може бути будь-якою правильною формою Common Lisp і буде читатися за допомогою
поточний пакет встановлений на ploader.transforms, щоб ви могли використовувати функції, визначені в
цей пакет, наприклад функції, що динамічно завантажуються за допомогою -- навантаження командного рядка
параметр.
Кожен ВИКОРИСТАННЯ Вираз компілюється під час виконання до рідного коду.
Ця функція дозволяє ploader завантажувати будь-яку кількість полів у файлі CSV в файл a
можливо, різну кількість стовпців у базі даних, використовуючи для цього користувацький код
проекція.
· З
Набір параметрів для застосування до команди з використанням глобального синтаксису:
· ключ = значення
· використання варіант
· do НЕ використання варіант
Дивіться кожну конкретну команду, щоб дізнатися більше.
· УСТАНОВКА
Цей пункт дозволяє вказати параметри сеансу, які будуть встановлені для всіх відкритих сеансів
від ploader. Він очікує список імені параметра, знак рівності, а потім значення
значення в одинарних лапках у вигляді списку, розділеного комами.
Імена та значення параметрів не перевіряються ploader, вони надаються
як є для PostgreSQL.
· ПЕРЕД НАДАННЯ DO
Ви можете виконувати SQL-запити до бази даних перед завантаженням даних з CSV
файл. Найбільш поширеними є SQL-запити CREATE ТАБЛИЦЯ IF $NOT ІСНУЄТЬСЯ щоб дані могли бути
завантажений.
Кожна команда має бути котирується в доларах: він повинен починатися і закінчуватися подвійним знаком долара,
$$. Запити, які містяться в долари, потім розділяються комами. Додаткових розділових знаків не очікується
після останнього запиту SQL.
· ПЕРЕД НАДАННЯ ВИКОНАТИ
Така ж поведінка, як і в ПЕРЕД НАДАННЯ DO пункт. Дозволяє читати SQL-запити
з файлу SQL. Реалізує підтримку котирування в доларах PostgreSQL та \i та \ir
включають засоби, як у psql пакетний режим (де вони однакові).
· ПІСЛЯ НАДАННЯ DO
Той самий формат, що ПЕРЕД НАДАННЯ DO, запити з котируванням у доларах, знайдені в цьому розділі
виконується після завершення навантаження. Це правильний час для створення індексів і
обмеження або повторно ввімкнути тригери.
· ПІСЛЯ НАДАННЯ ВИКОНАТИ
Така ж поведінка, як і в ПІСЛЯ НАДАННЯ DO пункт. Дозволяє читати запити SQL
файл SQL. Реалізує підтримку котирування в доларах PostgreSQL та \i та \ir
включають засоби, як у psql пакетний режим (де вони однакові).
Connection рядок
Команда Очікується, що параметр буде заданий як a Connection URI як задокументовано
в документації PostgreSQL за адресою
http://www.postgresql.org/docs/9.3/static/libpq-connect.html#LIBPQ-CONNSTRING.
postgresql://[user[:password]@][netloc][:port][/dbname][?option=value&...]
де:
· користувач
Може містити будь-який символ, включаючи двокрапку (:), який потім потрібно подвоїти (::) і
на знак (@), який потім потрібно подвоїти (@@).
Якщо пропущено, то користувач name за замовчуванням має значення PGUSER змінна середовища,
і якщо він не встановлений, значення USER змінна оточення
· пароль
Може містити будь-який символ, включаючи знак at (@), який потім потрібно подвоїти (@@).
Залишити пароль порожнім, коли користувач Ім’я закінчується на знак at, тоді ви повинні
використовуйте синтаксис user:@.
Якщо пропущено, то пароль за замовчуванням значення PGPASSWORD навколишнє середовище
змінної, якщо вона встановлена, в іншому випадку пароль залишається не встановленим.
· netloc
Може бути або ім’ям хоста в пунктирному позначенні, або ipv4, або сокетом домену Unix
шлях. Порожній — це мережеве розташування за замовчуванням у системі UNIX домен
розетка цей метод є кращим, інакше netloc за замовчуванням до локальний.
Можна змусити UNIX домен розетка шлях за допомогою синтаксису
unix:/path/to/where/the/socket/file/е, щоб примусово вказати шлях до сокета, який не є за замовчуванням, і a
порт за замовчуванням, ви матимете:
postgresql://unix:/ Tmp:54321/назва бази даних
Команда netloc за замовчуванням значення PGHOST змінна середовища, і якщо вона не встановлена,
або за замовчуванням UNIX шлях до сокета під час роботи в системі Unix, і локальний
інакше.
· dbname
Повинен бути правильний ідентифікатор (літера, за якою слід змішати букви, цифри та
розділові знаки коми (,), тире (-) і підкреслення (_).
Якщо пропущено, то dbname за замовчуванням значення змінної середовища PGDATABASE,
і якщо це не встановлено, до користувач значення, визначене вище.
· опції
Необов’язкові параметри повинні бути надані разом із формою name = value, і ви можете використовувати
кілька параметрів, відокремлюючи їх за допомогою амперсанда (&) характер.
Тут підтримуються лише деякі параметри, ім'я таблиці (що може бути кваліфіковано за допомогою a
назва схеми) sslmode, господар, порт, dbname, користувач та пароль.
Команда sslmode значення параметра може бути одним із забороняти, дозволяти, надавати перевагу or вимагати.
З міркувань зворотної сумісності можна вказати ім'я таблиці варіант
прямо, без розмови ім'я таблиці= частин.
Параметри замінюють основні компоненти URI, коли вони вказані та використовуються
Параметри параметрів, закодованих у відсотках, дозволяють використовувати паролі, які починаються з двокрапки та
обхід обмежень аналізу інших компонентів URI.
регулярний Вирази
Кілька положень, перелічених нижче, приймаються регулярний вирази з наступним
правила введення:
· Регулярний вираз починається зі знака тильди (~),
· потім йде знак відкриття,
· тоді будь-який символ дозволений і вважається частиною регулярного виразу, за винятком
за знак закриття,
· тоді очікується знак закриття.
Знак відкриття та закриття дозволено парами, ось повний список дозволених
роздільники:
~//
~[]
~{}
~()
~<>
~""
~´´
~||
~##
Виберіть набір роздільників, які не стикаються з регулярний вираз ти намагаєшся
введення. Якщо ваш вираз такий, що жодне з рішень не дозволяє ввести його, то
місця, де дозволені такі вирази, повинні передбачати список виразів.
Коментарі
Будь-яка команда може містити коментарі, дотримуючись таких правил введення:
· -- роздільник починає коментар, який закінчується кінцем поточного рядка,
· розмежувачі /* та */ відповідно початок і закінчення коментаря, який можна знайти в
середина команди або охоплює кілька рядків.
Будь-яке місце, де можна ввести a пробіл також прийме коментар.
Партія поведінку опції
Усі команди ploader підтримують a З пункт, що дозволяє вказати параметри.
Деякі параметри є загальними і приймаються всіма командами, наприклад партія поведінку
опції, а деякі параметри є специфічними для типу джерела даних, наприклад CSV пропускати заголовок
варіант.
Глобальні параметри поведінки пакетів:
· партія рядків
Приймає числове значення як аргумент, яке використовується як максимальна кількість рядків, дозволених у a
партія. За замовчуванням є 25 000 і можна змінити, щоб спробувати мати кращу продуктивність
характеристики або для контролю використання пам'яті ploader;
· партія розмір
Бере одиницю пам'яті як аргумент, наприклад 20 MB, його значення за замовчуванням. Прийнято
множники є kB, MB, GB, TB та PB. Справа важлива, щоб не заплутатися
про біти проти байтів, тут ми говоримо лише про байти.
· партія одночасність
Приймає числове значення як аргумент, за замовчуванням 10. Ось така кількість партій
pgloader дозволяє нарощувати пам'ять, навіть якщо це може зробити лише один пакет
надсилати в PostgreSQL.
Підтримка більше ніж однієї партії, яка надсилається одночасно, є у списку TODO
ploader, але ще не реалізовано. Цей параметр стосується управління пам’яттю
потреби ploader як компроміс з характеристиками продуктивності, а не про
паралельна діяльність ploader.
Інші параметри є специфічними для кожного джерела введення, будь ласка, зверніться до окремих частин
документація для їх перерахування та висвітлення.
Потім партію закривають, як тільки партія рядків або партія розмір поріг є
перехрещено, що прийде раніше. У випадках, коли партію доводиться закривати через
партія розмір налаштування, а відлагоджувати Повідомлення журналу рівня друкується із зазначенням того, скільки рядків помістилося в
негабаритний партія.
НАДАННЯ CSV
Ця команда інструктує ploader завантажити дані з a CSV файл. Ось приклад:
ЗАВАНТАЖИТИ CSV
ІЗ «GeoLiteCity-Blocks.csv» ІЗ КОДИРОВАННЯМ iso-646-us
МАЄ ПОЛЯ
(
startIpNum, endIpNum, locId
)
INTO postgresql://user@localhost:54393/dbname?geolite.blocks
ЦІЛЬНІ КОЛОНИ
(
iprange ip4r за допомогою (ip-range startIpNum endIpNum),
locId
)
З обрізанням,
пропустити заголовок = 2,
поля, необов'язково охоплені символом ´"´,
поля, що екрануються за допомогою зворотної косої риски,
поля закінчуються символом ´\t´
Встановіть work_mem на ´32 MB´, maintenance_work_mem на ´64 MB´;
Команда CSV Команда format приймає такі положення та параметри:
· З
Ім'я файлу, звідки завантажувати дані. Приймає an КОДУВАННЯ варіант. Використовувати
--спискові кодування можливість дізнатися, які імена кодування підтримуються.
Ім’я файлу може бути взяте в одинарні лапки і може бути одним із наступних
спеціальні значення:
· вбудований
Дані знаходять після закінчення аналізу команд. Будь-яка кількість порожніх рядків
між кінцем команд і початком даних приймається.
· stdin
Зчитує дані зі стандартного вхідного потоку.
· ІМЕНИ ФАЙЛОВ ЗБІГАННЯ
Цілий узгодження пункт має відповідати наступному правилу:
[ УСІ ІМЕНИ ФАЙЛОВ | [ ПЕРШИЙ ] НАЗВА ФАЙЛУ ]
ВІДПОВІДАННЯ регулярних виразів
[ У КАТАЛОГІ ´...´ ]
Команда узгодження пункт застосовується даний регулярний вираз (точний синтаксис див. вище, кілька
тут можна використовувати параметри) до назв файлів. Тоді можна буде завантажувати дані лише з
перший матч з усіх.
The optional IN ДОВІДНИК речення дозволяє вказати, до якого каталогу слід перейти для пошуку
файли даних і можуть бути або відносно того, звідки зчитується командний файл, або
абсолютний. Даний каталог має існувати.
Команда З Параметр також підтримує необов'язковий список розділених комами поле назви, що описують
що очікується в CSV файл даних, необов'язково введений пунктом ВІД ПОЛЯ.
Кожне ім’я поля може бути лише одним ім’ям або ім’ям, що слідує за певним читачем
параметри для цього поля, узяті в квадратні дужки та розділені комами. Підтримується
Параметри зчитувача для кожного поля:
· припиняється by
Дивіться опис поле припиняється by нижче.
Обробка цієї опції наразі не реалізована.
· дата формат
Коли очікується поле типу дати, цей параметр дозволяє вказати
формат дати, використаний у файлі.
Рядок формату дати — це рядки шаблонів, змодельовані відповідно до PostgreSQL to_char
підтримка рядків шаблонів, обмежена такими шаблонами:
· РРРР, РРР, РР для частини року
· ММ для числової частини місяця
· ДД для числової частини дня
· HH, HH12, HH24 для годинної частини
· ранку, ранку, ранку, ранку
· вечора, вечора, вечора, вечора
· МІ для частини хвилин
· СС для секундної частини
· MS для частини мілісекунд (4 цифри)
· США для мікросекунд (6 цифр)
· нерозбірні розділові знаки: - . * # @ T / \ і пробіл
Ось приклад а дата формат специфікація:
назва стовпця [формат дати ´РРРР-ММ-ДД HH24-MI-SS.US´]
· нулю if
Цей параметр приймає аргумент, який є або ключовим словом заготовки або подвійні лапки
рядок.
Коли заготовки використовується, а значення поля, яке зчитується, містить лише пробіли,
потім він автоматично перетворюється на SQL NULL value.
Коли використовується рядок у подвійних лапках і цей рядок зчитується як значення поля
значення поля автоматично перетворюється на SQL NULL value.
· оздоблення обидва пробіл, оздоблення залишити пробіл, оздоблення право пробіл
Ця опція дозволяє обрізати пробіли в прочитаних даних або з обох сторін
дані, або лише пробіли, що знаходяться ліворуч від потоку, або тільки
ті, що праворуч від рядка.
· З
При завантаженні з а CSV файл, підтримуються такі параметри:
· усікати
Коли ця опція вказана, ploader видає a ЗРУЧИТИ команду проти PostgreSQL
цільової таблиці перед читанням файлу даних.
· падіння покажчики
Коли ця опція вказана, ploader проблеми DROP ІНДЕКС команди проти всіх
індекси, визначені в цільовій таблиці перед копіюванням даних, потім CREATE ІНДЕКС
команди один раз КОПІЯ робиться.
Щоб отримати найкращі результати, усі індекси створюються в
паралельно, а після завершення первинні ключі створюються знову з унікальних індексів
створений. Цей двоетапний процес дозволяє створити індекс первинного ключа паралельно з
інші індекси, як тільки АЛЬТЕР ТАБЛИЦЯ команда потребує доступ ексклюзивний замикати on
цільова таблиця.
· забороняти тригери
Коли ця опція вказана, ploader видає файл АЛЬТЕР ТАБЛИЦЯ ... ВІМКНУТИ TRIGGER ALL
команду проти цільової таблиці PostgreSQL перед копіюванням даних, а потім команду
АЛЬТЕР ТАБЛИЦЯ ... ENABLE TRIGGER ALL як тільки КОПІЯ робиться.
Цей параметр дозволяє завантажувати дані в уже існуючу таблицю, ігноруючи іноземні ключ
обмеження і визначені користувачем тригери, що може призвести до недійсних іноземні ключ
обмеження після завантаження даних. Використовуйте з обережністю.
· пропускати заголовок
Приймає числове значення як аргумент. Доручіть pgloader пропускати стільки рядків
початок вхідного файлу.
· CSV заголовок
Використовуйте перший рядок, прочитаний після пропускати заголовок як список імен полів csv, які потрібно знайти
у файлі CSV, використовуючи ті самі параметри CSV, що й для даних CSV.
· оздоблення без котирувань заготовки
При читанні значень без лапок у CSV файл, видаліть пробіли між файлами
роздільник і значення. Така поведінка є стандартною.
· тримати без котирувань заготовки
При читанні значень без лапок у CSV файл, зберігайте пробіли між файлами
роздільник і значення.
· поля необов'язково укладений by
Бере один символ як аргумент, який потрібно знайти в одинарних лапках, і
може бути надано як сам символ для друку, спеціальне значення \t для позначення a
символ таблиці, або 0x потім шістнадцяткове значення, прочитане як код ASCII для
характер.
Цей символ використовується як символ цитування в CSV файл і за замовчуванням
подвійне лапки.
· поля НЕ укладений
За замовчуванням pgloader використовуватиме символ подвійних лапок як символ, що охоплює.
Якщо у вас є файл CSV, у якому поля не закриті та використовуються подвійні лапки як
очікуваний звичайний символ, тоді скористайтеся опцією поля НЕ укладений для CSV
аналізатор, щоб прийняти ці значення.
· поля втік by
Приймає або особливе значення зворотна коса риса or подвійне лапки, або будь-яке підтримуване значення
по поля припиняється by варіант (див. нижче). Це значення використовується для розпізнавання
екрановані роздільники полів, коли їх потрібно знайти в самих полях даних.
За замовчуванням подвійне лапки.
· CSV бігти режим
Приймає або особливе значення цитувати (за замовчуванням) або після і дозволяє CSV
синтаксичний аналізатор для аналізу лише екранованого роздільника полів або будь-якого символу (включаючи CSV
дані) під час використання після value.
· поля припиняється by
Бере один символ як аргумент, який потрібно знайти в одинарних лапках, і
може бути надано як сам символ для друку, спеціальне значення \t для позначення a
символ таблиці, або 0x потім шістнадцяткове значення, прочитане як код ASCII для
характер.
Цей символ використовується як поле роздільник при читанні CSV дані.
· lines припиняється by
Бере один символ як аргумент, який потрібно знайти в одинарних лапках, і
може бути надано як сам символ для друку, спеціальне значення \t для позначення a
символ таблиці, або 0x потім шістнадцяткове значення, прочитане як код ASCII для
характер.
Цей символ використовується для розпізнавання кінцевий рядок стан при читанні CSV дані.
НАДАННЯ ФІКСОВАНО COLS
Ця команда інструктує pgloader завантажувати дані з текстового файлу, що містить упорядковані стовпці
В фіксованою розмір манера. Ось приклад:
НАВАНТАЖЕННЯ ВИПРАВЛЕНО
З вбудованого
(
a від 0 до 10,
б від 10 до 8,
c з 18 до 8,
d від 26 до 17 [нуль, якщо пробіли, обрізати правий пробіл]
)
INTO postgresql:///pgloader?виправлено
(
а, б,
c використання часу (час без роздільника c),
d
)
З урізати
Встановити client_encoding на 'latin1',
work_mem до ´14MB´,
standard_conforming_strings до 'on'
ДО ЗАВАНТАЖЕННЯ ЗРОБИТИ
$$ скинути таблицю, якщо вона існує, виправлено; $$,
$$ створити таблицю виправлено (
ціле число,
б дата,
c час,
d текст
);
$$;
01234567892008052011431250 перший рядок
01234562008052115182300зліва з порожнім доповненням
12345678902008052208231560інший рядок
2345609872014092914371500
2345678902014092914371520
Команда фіксованою Команда format приймає такі положення та параметри:
· З
Ім'я файлу, звідки завантажувати дані. Приймає an КОДУВАННЯ варіант. Використовувати
--спискові кодування можливість дізнатися, які імена кодування підтримуються.
Ім’я файлу може бути взяте в одинарні лапки і може бути одним із наступних
спеціальні значення:
· вбудований
Дані знаходять після закінчення аналізу команд. Будь-яка кількість порожніх рядків
між кінцем команд і початком даних приймається.
· stdin
Зчитує дані зі стандартного вхідного потоку.
Команда З Параметр також підтримує необов'язковий список розділених комами поле назви, що описують
що очікується в ФІКСОВАНО файл даних.
Кожне ім’я поля складається з назви поля з окремими параметрами читання
це поле. Підтримувані параметри зчитувача для окремих полів є наведеними нижче старт та
не вимагається.
· старт
Розташуйте в рядку, де починати зчитувати значення цього поля. Можна ввести з
десяткові цифри або 0x потім шістнадцяткові цифри.
·
Скільки байтів читати з старт позицію, щоб прочитати значення цього поля. Той самий формат
as старт.
Ці необов’язкові параметри мають бути укладені в квадратні дужки та розділені комами:
· припиняється by
Дивіться опис поле припиняється by нижче.
Обробка цієї опції наразі не реалізована.
· дата формат
Коли очікується поле типу дати, цей параметр дозволяє вказати
формат дати, використаний у файлі.
Рядок формату дати — це рядки шаблонів, змодельовані відповідно до PostgreSQL to_char
підтримка рядків шаблонів, обмежена такими шаблонами:
· РРРР, РРР, РР для частини року
· ММ для числової частини місяця
· ДД для числової частини дня
· HH, HH12, HH24 для годинної частини
· ранку, ранку, ранку, ранку
· вечора, вечора, вечора, вечора
· МІ для частини хвилин
· СС для секундної частини
· MS для частини мілісекунд (4 цифри)
· США для мікросекунд (6 цифр)
· нерозбірні розділові знаки: - . * # @ T / \ і пробіл
Ось приклад а дата формат специфікація:
назва стовпця [формат дати ´РРРР-ММ-ДД HH24-MI-SS.US´]
· нулю if
Цей параметр приймає аргумент, який є або ключовим словом заготовки або подвійні лапки
рядок.
Коли заготовки використовується, а значення поля, яке зчитується, містить лише пробіли,
потім він автоматично перетворюється на SQL NULL value.
Коли використовується рядок у подвійних лапках і цей рядок зчитується як значення поля
значення поля автоматично перетворюється на SQL NULL value.
· оздоблення обидва пробіл, оздоблення залишити пробіл, оздоблення право пробіл
Ця опція дозволяє обрізати пробіли в прочитаних даних або з обох сторін
дані, або лише пробіли, що знаходяться ліворуч від потоку, або тільки
ті, що праворуч від рядка.
· З
При завантаженні з а ФІКСОВАНО файл, підтримуються такі параметри:
· усікати
Коли ця опція вказана, ploader видає a ЗРУЧИТИ команду проти PostgreSQL
цільової таблиці перед читанням файлу даних.
· забороняти тригери
Коли ця опція вказана, ploader видає файл АЛЬТЕР ТАБЛИЦЯ ... ВІМКНУТИ TRIGGER ALL
команду проти цільової таблиці PostgreSQL перед копіюванням даних, а потім команду
АЛЬТЕР ТАБЛИЦЯ ... ENABLE TRIGGER ALL як тільки КОПІЯ робиться.
Цей параметр дозволяє завантажувати дані в уже існуючу таблицю, ігноруючи іноземні ключ
обмеження і визначені користувачем тригери, що може призвести до недійсних іноземні ключ
обмеження після завантаження даних. Використовуйте з обережністю.
· пропускати заголовок
Приймає числове значення як аргумент. Доручіть pgloader пропускати стільки рядків
початок вхідного файлу.
НАДАННЯ КОПІЯ ФОРМАТОВАНО ФАЙЛИ
Ця команда наказує pgloader завантажити файл, що містить дані COPY TEXT як
описано в документації PostgreSQL. Ось приклад:
ЗАВАНТАЖИТИ КОПІЮ
З copy://./data/track.copy
(
trackid, трек, альбом, медіа, жанр, композитор,
мілісекунди, байти, ціна за одиницю
)
INTO postgresql:///pgloader?track_full
З урізати
Встановити client_encoding на 'latin1',
work_mem до ´14MB´,
standard_conforming_strings до 'on'
ДО ЗАВАНТАЖЕННЯ ЗРОБИТИ
$$ скинути таблицю, якщо існує track_full; $$,
$$ створити таблицю track_full (
trackid bigserial,
відстежувати текст,
текст альбому,
медіатекст,
жанровий текст,
композиторський текст,
мілісекунди bigint,
байти bigint,
ціна одиниці числова
);
$$;
Команда КОПІЯ Команда format приймає такі положення та параметри:
· З
Ім'я файлу, звідки завантажувати дані. Це підтримує локальні файли, URL-адреси HTTP та zip
файли, що містять один файл dbf з такою ж назвою. Отримати такий zip-файл із файлу
Звичайно, HTTP-адреса підтримується.
· З
При завантаженні з а КОПІЯ файл, підтримуються такі параметри:
· роздільник
Бере один символ як аргумент, який потрібно знайти в одинарних лапках, і
може бути надано як сам символ для друку, спеціальне значення \t для позначення a
символ таблиці, або 0x потім шістнадцяткове значення, прочитане як код ASCII для
характер.
Цей символ використовується як роздільник під час читання даних, подібно до
PostgreSQL КОПІЯ варіант.
· нулю
Бере рядок у лапках як аргумент (лапки можуть бути як подвійними, так і одинарними
лапки) і використовує цей рядок як NULL представлення в даних.
Це схоже на нулю КОПІЯ параметр у PostgreSQL.
· усікати
Коли ця опція вказана, ploader видає a ЗРУЧИТИ команду проти PostgreSQL
цільової таблиці перед читанням файлу даних.
· забороняти тригери
Коли ця опція вказана, ploader видає файл АЛЬТЕР ТАБЛИЦЯ ... ВІМКНУТИ TRIGGER ALL
команду проти цільової таблиці PostgreSQL перед копіюванням даних, а потім команду
АЛЬТЕР ТАБЛИЦЯ ... ENABLE TRIGGER ALL як тільки КОПІЯ робиться.
Цей параметр дозволяє завантажувати дані в уже існуючу таблицю, ігноруючи іноземні ключ
обмеження і визначені користувачем тригери, що може призвести до недійсних іноземні ключ
обмеження після завантаження даних. Використовуйте з обережністю.
· пропускати заголовок
Приймає числове значення як аргумент. Доручіть pgloader пропускати стільки рядків
початок вхідного файлу.
НАДАННЯ DBF
Ця команда інструктує ploader завантажити дані з a DBF файл. Ось приклад:
ЗАВАНТАЖИТИ DBF
З http://www.insee.fr/fr/methodes/nomenclatures/cog/telechargement/2013/dbf/reg2013.dbf
INTO postgresql://user@localhost/dbname
З обрізати, створити таблицю;
Команда дбф Команда format приймає такі положення та параметри:
· З
Ім'я файлу, звідки завантажувати дані. Це підтримує локальні файли, URL-адреси HTTP та zip
файли, що містять один файл dbf з такою ж назвою. Отримати такий zip-файл із файлу
Звичайно, HTTP-адреса підтримується.
· З
При завантаженні з а DBF файл, підтримуються такі параметри:
· усікати
Коли ця опція вказана, ploader видає a ЗРУЧИТИ команду проти PostgreSQL
цільової таблиці перед читанням файлу даних.
· забороняти тригери
Коли ця опція вказана, ploader видає файл АЛЬТЕР ТАБЛИЦЯ ... ВІМКНУТИ TRIGGER ALL
команду проти цільової таблиці PostgreSQL перед копіюванням даних, а потім команду
АЛЬТЕР ТАБЛИЦЯ ... ENABLE TRIGGER ALL як тільки КОПІЯ робиться.
Цей параметр дозволяє завантажувати дані в уже існуючу таблицю, ігноруючи іноземні ключ
обмеження і визначені користувачем тригери, що може призвести до недійсних іноземні ключ
обмеження після завантаження даних. Використовуйте з обережністю.
· створювати таблиця
Коли ця опція вказана, pgloader створює таблицю, використовуючи метадані, знайдені в
DBF файл, який повинен містити список полів з їх типом даних. Стандартний
Перетворення типу даних з DBF в PostgreSQL виконано.
· таблиця ім'я
Цей параметр очікує в якості свого значення можливо кваліфіковане ім’я створеної таблиці.
НАДАННЯ IXF
Ця команда інструктує ploader завантажити дані з IBM IXF файл. Ось приклад:
НАВАНТАЖУВАТИ IXF
З data/nsitra.test1.ixf
INTO postgresql:///ploader?nsitra.test1
WITH скоротити, створити таблицю
ДО ЗАВАНТАЖЕННЯ ЗРОБИТИ
$$ створити схему, якщо не існує nsitra; $$,
$$ скинути таблицю, якщо існує nsitra.test1; $$;
Команда ixf Команда format приймає такі положення та параметри:
· З
Ім'я файлу, звідки завантажувати дані. Це підтримує локальні файли, URL-адреси HTTP та zip
файли, що містять один файл ixf з такою ж назвою. Отримати такий zip-файл із файлу
Звичайно, HTTP-адреса підтримується.
· З
При завантаженні з а IXF файл, підтримуються такі параметри:
· усікати
Коли ця опція вказана, ploader видає a ЗРУЧИТИ команду проти PostgreSQL
цільової таблиці перед читанням файлу даних.
· забороняти тригери
Коли ця опція вказана, ploader видає файл АЛЬТЕР ТАБЛИЦЯ ... ВІМКНУТИ TRIGGER ALL
команду проти цільової таблиці PostgreSQL перед копіюванням даних, а потім команду
АЛЬТЕР ТАБЛИЦЯ ... ENABLE TRIGGER ALL як тільки КОПІЯ робиться.
Цей параметр дозволяє завантажувати дані в уже існуючу таблицю, ігноруючи іноземні ключ
обмеження і визначені користувачем тригери, що може призвести до недійсних іноземні ключ
обмеження після завантаження даних. Використовуйте з обережністю.
· створювати таблиця
Коли ця опція вказана, pgloader створює таблицю, використовуючи метадані, знайдені в
DBF файл, який повинен містити список полів з їх типом даних. Стандартний
Перетворення типу даних з DBF в PostgreSQL виконано.
· таблиця ім'я
Цей параметр очікує в якості свого значення можливо кваліфіковане ім’я створеної таблиці.
НАДАННЯ АРХІВ
Ця команда інструктує pgloader завантажувати дані з одного або кількох файлів, що містяться в файлі
архів. Наразі єдиним підтримуваним форматом архіву є ZIP, а архів може бути
завантажено з an HTTP URL-адреса.
Ось приклад:
ЗАВАНТАЖУВАТИ АРХІВ
З /Users/dim/Downloads/GeoLiteCity-latest.zip
У postgresql:///ip4r
ПЕРЕД ЗАВАНТАЖЕННЯМ
Зробіть $$ створіть розширення, якщо не існує ip4r; $$,
$$ створити схему, якщо геоліт не існує; $$,
ВИКОНАТИ ´geolite.sql´
ЗАВАНТАЖИТИ CSV
З ВІДПОВІДАННЯ ІМЕНІ ФАЙЛУ ~/GeoLiteCity-Location.csv/
ІЗ КОДУВАННЯМ iso-8859-1
(
locId,
країна,
область нульова, якщо пропуски,
місто нуль, якщо пропуски,
поштовий індекс нульовий, якщо пропуски,
широта,
довгота,
metroCode null, якщо пропуски,
код області нульовий, якщо пропуски
)
INTO postgresql:///ip4r?geolite.location
(
місцевий, країна, регіон, місто, поштовий індекс,
використання точки розташування (формат нуль "(~a,~a)" довгота широта),
MetroCode, AreaCode
)
З пропуском заголовка = 2,
поля, необов'язково охоплені символом ´"´,
поля, захищені подвійними лапками,
поля, що закінчуються символами ´,´
І ЗАВАНТАЖУЄМО CSV
З ВІДПОВІДАННЯ ІМЕНІ ФАЙЛУ ~/GeoLiteCity-Blocks.csv/
ІЗ КОДУВАННЯМ iso-8859-1
(
startIpNum, endIpNum, locId
)
INTO postgresql:///ip4r?geolite.blocks
(
iprange ip4r за допомогою (ip-range startIpNum endIpNum),
locId
)
З пропуском заголовка = 2,
поля, необов'язково охоплені символом ´"´,
поля, захищені подвійними лапками,
поля, що закінчуються символами ´,´
НАрешті ЗРОБИТИ
$$ створити індекс blocks_ip4r_idx на geolite.blocks за допомогою gist(iprange); $$;
Команда архів команда приймає такі положення та параметри:
· З
Ім’я файлу або HTTP URI, звідки завантажувати дані. Якщо вказано URL-адресу HTTP, посилання
файл буде завантажено локально перед обробкою.
Якщо файл a ZIP файл, утиліта командного рядка розстебнути блискавку використовується для розширення
архівувати у файли в $TMPDIRабо / Tmp if $TMPDIR не встановлено або встановлено як неіснуючий
каталог.
Потім використовуються наступні команди з каталогу верхнього рівня, де знаходиться архів
було розширено.
· команда [ І команда...]
Серія команд проти вмісту архіву, лише на даний момент
CSV,´ВИПРАВЛЕНО та DBF команди підтримуються.
Зауважте, що команди підтримують це речення З ФІЛЕНАМ ЗБІГАННЯ що дозволяє
Команда pgloader не залежатиме від точних імен каталогів архівів.
Те саме положення також можна застосувати до кількох файлів із використанням орфографії З ALL
ІМЕНИ ФАЙЛОВ ЗБІГАННЯ і регулярний вираз.
Цілий узгодження пункт має відповідати наступному правилу:
З [ УСІХ ІМЕН ФАЙЛОВ | [ FIRST ] FILENAME ] ВІДПОВІДАННЯ
· НАРЕШТІ DO
Запити SQL, які запускаються після завантаження даних, наприклад CREATE ІНДЕКС.
НАДАННЯ MYSQL DATABASE
Ця команда інструктує ploader завантажувати дані з підключення до бази даних. Єдиний
наразі підтримується джерело бази даних MySQL, а ploader підтримує динамічне перетворення
схема вихідної бази та побудови індексів.
Надається набір правил переведення за замовчуванням, який може бути перевантажений і доданий до
команда
Ось приклад:
ЗАВАНТАЖИТИ БАЗУ ДАНИХ
З mysql:// корінь@localhost/sakila
INTO postgresql://localhost:54393/sakila
WITH включають скидання, створення таблиць, створення індексів, скидання послідовностей
ВСТАНОВИТЬ support_work_mem на «128 МБ»,
work_mem до ´12MB´,
пошук_шлях до «sakila».
Тип CAST від datetime to timestamptz перекидає значення за умовчанням, а не нуль, використовуючи нульові дати до нуля,
введіть date drop not null drop default, використовуючи нульові дати до null,
-- введіть tinyint до boolean, використовуючи tinyint-to-boolean,
введіть рік у ціле число
МАТЕРІАЛІЗУВАТИ ПЕРЕГЛЯДИ film_list, staff_list
-- ВКЛЮЧАЮЧИ ЛИШЕ ВІДПОВІДАННЯ ІМЕН ТАБЛИЦ ~/фільм/, «актор».
-- ВИКЛЮЧЕННЯ ВІДПОВІДАННЯ НАЗВ ТАБЛИЦ ~
-- РОЗГЛЯД ВІДПОВІДАННЯ НАЗВ ТАБЛИЦ ~/заплутався/, ~/кодування/ AS utf8
ДО ЗАВАНТАЖЕННЯ ЗРОБИТИ
$$ створити схему, якщо не існує sakila; $$;
Команда база даних команда приймає такі положення та параметри:
· З
Має бути URL-адреса підключення, що вказує на базу даних MySQL. На даний момент є тільки MySQL
підтримується як джерело ploader.
Якщо URI підключення містить ім’я таблиці, то переноситься лише ця таблиця
MySQL в PostgreSQL.
· З
При завантаженні з а MySQL базою даних, підтримуються наступні параметри та
efault З пункт: немає усікати, створювати Таблиці, включати падіння, створювати покажчики, скидання
послідовності, іноземні ключі, нижній регістр ідентифікатори.
З опції:
· включати падіння
Коли ця опція вказана, ploader видаляє всі таблиці в цільовому PostgreSQL
бази даних, імена якої відображаються в базі даних SQLite. Ця опція дозволяє використовувати
одну і ту ж команду кілька разів поспіль, поки ви не зрозумієте всі варіанти, починаючи
автоматично з чистого середовища. Будь ласка, зверніть увагу, що CASCADE використовується для забезпечення
що таблиці відкидаються, навіть якщо на них вказують зовнішні ключі. Це
саме що включати падіння призначений для: скинути всі цільові таблиці та створити повторно
Ними.
При використанні потрібно бути дуже обережним включати падіння, оскільки це буде каскадом всі
об'єкти, які посилаються на цільові таблиці, можливо, включаючи інші таблиці, які не є такими
завантажується з вихідної БД.
· включати немає падіння
Коли ця опція вказана, ploader не включатиме жодного DROP заява при завантаженні
дані.
· усікати
Коли ця опція вказана, ploader видає ЗРУЧИТИ команда проти кожного
Таблиця PostgreSQL безпосередньо перед завантаженням в неї даних.
· немає усікати
Коли ця опція вказана, ploader видає номер ЗРУЧИТИ команда
· забороняти тригери
Коли ця опція вказана, ploader видає файл АЛЬТЕР ТАБЛИЦЯ ... ВІМКНУТИ TRIGGER ALL
команду проти цільової таблиці PostgreSQL перед копіюванням даних, а потім команду
АЛЬТЕР ТАБЛИЦЯ ... ENABLE TRIGGER ALL як тільки КОПІЯ робиться.
Цей параметр дозволяє завантажувати дані в уже існуючу таблицю, ігноруючи іноземні ключ
обмеження і визначені користувачем тригери, що може призвести до недійсних іноземні ключ
обмеження після завантаження даних. Використовуйте з обережністю.
· створювати Таблиці
Коли ця опція вказана, pgloader створює таблицю, використовуючи метадані, знайдені в
MySQL файл, який повинен містити список полів з їх типом даних. Стандартний
Перетворення типу даних з DBF в PostgreSQL виконано.
· створювати немає Таблиці
Коли ця опція вказана, ploader пропускає створення таблиці перед завантаженням даних,
цільові таблиці повинні вже існувати.
· створювати покажчики
Коли ця опція вказана, pgloader отримує визначення всіх індексів, знайдених у
базу даних MySQL і створити той самий набір визначень індексів для PostgreSQL
, що постійно розширюється.
· створювати немає покажчики
Коли ця опція вказана, ploader пропускає створення індексів.
· однозначно індекс Імена, зберігати індекс Імена
Імена індексів MySQL є унікальними для кожної таблиці, тоді як у PostgreSQL імена індексів мають бути
унікальна схема. За замовчуванням для pgloader змінюється ім'я індексу за допомогою префікса
це з idx_OID де OID – внутрішній числовий ідентифікатор таблиці, якою є індекс
побудований проти.
У деяких випадках, наприклад, коли DDL повністю залишено для фреймворку, це може бути розумно
для pgloader утримуватися від обробки унікальних імен індексів, що досягається використанням
зберігати індекс Імена варіант.
За замовчуванням – до однозначно індекс Імена.
Навіть при використанні опції зберігати індекс Імена, названі індекси первинного ключа MySQL
"PRIMARY" отримають уніфікацію назв. Якщо цього не зробити, це завадить первинному
ключі, які будуть створені знову в PostgreSQL, де імена індексів мають бути унікальними для кожного
схеми.
· іноземні ключі
Коли ця опція вказана, ploader отримує визначення всіх зовнішніх ключів
знайти в базі даних MySQL і створити той самий набір визначень зовнішніх ключів
бази даних PostgreSQL.
· немає іноземні ключі
Коли ця опція вказана, ploader пропускає створення зовнішніх ключів.
· скидання послідовності
Коли ця опція вказана, в кінці завантаження даних і після індексів
все було створено, pgloader скидає всі створені послідовності PostgreSQL до поточних
максимальне значення стовпця, до якого вони приєднані.
Варіанти схема тільки та дані тільки не впливають на цей параметр.
· скидання немає послідовності
Коли ця опція вказана, ploader пропускає послідовності скидання після завантаження.
Варіанти схема тільки та дані тільки не впливають на цей параметр.
· нижній регістр ідентифікатори
Коли ця опція вказана, pgloader перетворює всі ідентифікатори MySQL (імена таблиць,
імена індексів, імена стовпців) до нижній регістр, крім PostgreSQL захищені ключові слова.
PostgreSQL захищені ключові слова визначаються динамічно за допомогою системи
функція pg_get_keywords().
· цитувати ідентифікатори
Коли ця опція вказана, pgloader цитує всі ідентифікатори MySQL так, щоб їхній регістр
поважається. Зауважте, що потім вам доведеться зробити те ж саме у своїй програмі
кодові запити.
· схема тільки
Коли ця опція вказана, pgloader утримується від перенесення даних. Зауважте, що
схема в цьому контексті включає індекси, коли параметр створювати покажчики має
було перераховано.
· дані тільки
Коли ця опція вказана, ploader видає лише файл КОПІЯ заяви, не роблячи жодних
інша обробка.
· CAST
Застереження cast дозволяє вказати користувацькі правила приведення, або перевантажити значення за замовчуванням
правила кастингу або вносити в них зміни в особливих випадках.
Очікується, що правило кастингу матиме одну з форм:
типу [ ... ] до [ ... ]
колонка . [ ] до ...
Це можливо для а лиття правити для відповідності типу даних MySQL або типу a
даний колонка ім'я в заданій таблиця ім'я. Ця гнучкість дозволяє впоратися з випадками, коли
тип tinyint міг бути використаний як а boolean в деяких випадках, але як smallint in
інші
Команда лиття Правила застосовуються в порядку, перший збіг запобігає наступним правилам
застосовуються, і спочатку оцінюються визначені користувачем правила.
Підтримувані огорожі:
· коли дефолт «цінність».
Правило переведення застосовується лише до стовпців MySQL вихідного типу, які мають
даний значення, який має бути в одинарних або подвійних лапках.
· коли typemod вираз
Правило переведення застосовується лише до стовпців MySQL вихідного типу, які мають a
typemod значення, що відповідає заданому typemod вираз, typemod поділяється на його
точність та масштаб компонентами.
Приклад правила приведення з використанням a typemod охоронець:
введіть char when (= точність 1), щоб char зберегти typemod
Цей вираз перетворює MySQL бак(1) стовпець у стовпець типу PostgreSQL бак(1) в той час як
з урахуванням загального випадку символ (N) буде перетворено правилом приведення за замовчуванням в a
Тип PostgreSQL varchar(N).
· з додатково auto_increment
Правило переведення застосовується лише до стовпців MySQL, які мають додатково колонка
auto_increment набір параметрів, щоб можна було націлюватися, напр послідовний а не
ціле.
Поведінка відповідності за замовчуванням, якщо ця опція не встановлена, полягає в тому, щоб збігатися з обома стовпцями
з додатковим визначенням і без.
Це означає, що якщо ви хочете реалізувати правило приведення, це також націлене послідовний or
ціле від smallint визначення в залежності від auto_increment додаткова частина
інформації з MySQL, то вам потрібно прописати два правила переведення, як показано нижче:
введіть smallint з додатковим auto_increment
для послідовного видалення typemod зберігати за замовчуванням не нульовим,
введіть smallint
до цілого скидання typemod зберігати за замовчуванням не нульовим
Підтримувані параметри передачі:
· падіння дефолт, тримати дефолт
Коли варіант падіння дефолт у списку, ploader скидає будь-який наявний вираз за замовчуванням
в базі даних MySQL для стовпців вихідного типу з CREATE ТАБЛИЦЯ заяву
воно породжує.
Правопис тримати дефолт явно запобігає такій поведінці і до неї можна звикнути
перевантажити правила переведення за замовчуванням.
· падіння НЕ нулю, тримати НЕ нулю
Коли варіант падіння НЕ нулю у списку, ploader скидає будь-які існуючі $NOT NULL
обмеження, пов'язане з заданим вихідним типом даних MySQL, коли воно створює таблиці
в базі даних PostgreSQL.
Правопис тримати НЕ нулю явно запобігає такій поведінці і до неї можна звикнути
перевантажити правила переведення за замовчуванням.
· падіння typemod, тримати typemod
Коли варіант падіння typemod у списку, ploader скидає будь-які існуючі typemod визначення
(напр точність та масштаб) із визначення типу даних, знайденого в стовпцях MySQL
тип джерела під час створення таблиць у базі даних PostgreSQL.
Правопис тримати typemod явно запобігає такій поведінці і до неї можна звикнути
перевантажити правила переведення за замовчуванням.
· використання
Цей параметр приймає в якості єдиного аргументу ім’я функції, яку можна знайти в
ploader.transforms Пакет Common Lisp. Подробиці див. вище.
Можна розширити правило приведення за замовчуванням (наприклад, яке стосується ЕНУМ
тип даних, наприклад) з a перетворення функція повністю пропустивши тип
частини правила кастингу, як у наступному прикладі:
стовпець enumerate.foo за допомогою порожнього рядка до нуля
· МАТЕРІАЛІЗУЙТЕ ДУМКИ
Цей пункт дозволяє реалізувати користувацьку обробку даних у джерелі даних за допомогою
надання вид визначення щодо якого ploader запитуватиме дані. Це не
можна просто врахувати просто SQL тому що ми хочемо знати багато про точне
типи даних кожного стовпця, що бере участь у виведенні запиту.
У цьому пункті очікується відокремлений комами список визначень представлення, кожне з яких є будь-яким
ім'я існуючого представлення у вашій базі даних або такий вираз:
ім'я AS $$ SQL запит $$
Команда ім'я і SQL запит буде використовуватися в а CREATE Переглянути заява на початку
завантаження даних, а отримане представлення буде видалено в кінці даних
завантаження.
· МАТЕРІАЛІЗУЙТЕ ALL ДУМКИ
Така ж поведінка, як МАТЕРІАЛІЗУЙТЕ ДУМКИ використовуючи динамічний список переглядів, який повертає
MySQL замість того, щоб просити користувача вказати список.
· ВКЛЮЧАЮЧИ ТІЛЬКИ ТАБЛИЦЯ ІМЕНА ЗБІГАННЯ
Введіть розділений комами список імен таблиць або регулярний вираз використовується для обмеження
таблиці для переміщення до підсписку.
приклад:
ВКЛЮЧАЮЧИ ЛИШЕ ВІДПОВІДНІ НАЗВА ТАБЛИЦ ~/фільм/, «актор».
· ВИКЛЮЧЕННЯ ТАБЛИЦЯ ІМЕНА ЗБІГАННЯ
Введіть розділений комами список імен таблиць або регулярний вираз використовується для виключення
імена таблиць із міграції. Цей фільтр застосовується лише до результату
ВКЛЮЧАЮЧИ фільтр
ВИКЛЮЧЕННЯ ВІДПОВІДАННЯ НАЗВ ТАБЛИЦ ~
· ДЕКОДИРОВАННЯ ТАБЛИЦЯ ІМЕНА ЗБІГАННЯ
Введіть розділений комами список імен таблиць або регулярний вирази звик до сили
кодування для використання під час обробки даних з MySQL. Якщо кодування даних вам відоме
відрізняється від уявлення про це MySQL, це варіант для використання.
ВІДПОВІДАННЯ НАЗВ ТАБЛИЦ ~/заплутався/, ~/кодування/ AS utf8
Ви можете використовувати скільки завгодно таких правил, усі вони мають, можливо, різні кодування.
ОБМЕЖЕННЯ
Команда база даних Наразі команда підтримує лише вихідну базу даних MySQL і має наступне
обмеження:
· Перегляди не переміщуються,
Підтримка представлень може вимагати реалізації повного аналізатора SQL для діалекту MySQL
з механізмом перенесення, щоб переписати SQL проти PostgreSQL, включаючи перейменування
функції та зміна деяких конструкцій.
Хоча це теоретично неможливо, не затримуйте дихання.
· Тригери не переносяться
Складність цього ще не оцінена.
· ON ОНОВЛЕННЯ CURRENT_TIMESTAMP наразі не перенесено
Це досить просто реалізувати, але ще не в списку пріоритетів.
· З геометричних типів даних тільки ТОЧКА база даних була охоплена. Інші
має бути досить легко реалізувати зараз, просто це ще не зроблено.
ПОВЕРНЕНО MySQL КАСТИНГ ПРАВИЛА
Під час міграції з MySQL надаються такі правила кастингу:
числа:
· введіть int з додатковим auto_increment до serial, коли (< точність 10)
· введіть int з додатковим auto_increment до bigserial, коли (<= 10 точність)
· введіть int до int, коли (< точність 10)
· введіть int до bigint, коли (<= 10 точність)
· введіть tinyint з додатковим auto_increment до serial
· тип smallint з додатковим auto_increment до serial
· тип mediumint з додатковим auto_increment до serial
· тип bigint з додатковим auto_increment до bigserial
· введіть tinyint до boolean, коли (= 1 точність) з використанням tinyint-to-boolean
· введіть tinyint до smallint drop typemod
· введіть smallint до smallint drop typemod
· тип mediumint в цілочисельне падіння typemod
· введіть integer to integer drop typemod
· введіть float до float drop typemod
· тип bigint до bigint drop typemod
· тип з подвійною до подвійної точності drop typemod
· введіть числові в числові зберігайте typemod
· введіть десяткову до десяткової, зберігайте typemod
Тексти:
· введіть char, щоб varchar зберегти typemod
· введіть varchar до тексту
· введіть крихітний текст у текст
· введення тексту в текст
· введіть середній текст у текст
· введіть довгий текст у текст
Двійковий:
· введіть двійковий у bytea
· тип varbinary до bytea
· введіть tinyblob до bytea
· введіть blob до bytea
· введіть mediumblob до bytea
· введіть longblob до bytea
Дата:
· введіть datetime, коли за замовчуванням "0000-00-00 00:00:00" і не має значення null для timestamptz, щоб не відключити
null скинути за замовчуванням, використовуючи нульові дати до нуля
· введіть datetime, коли за замовчуванням "0000-00-00 00:00:00" на timestamptz скинути значення за замовчуванням за допомогою
від нульових дат до нуля
· введіть мітку часу, якщо за замовчуванням "0000-00-00 00:00:00" і не має значення null для відмітки часу
null скинути за замовчуванням, використовуючи нульові дати до нуля
· введіть мітку часу, якщо за замовчуванням "0000-00-00 00:00:00", щоб timestamptz скинути значення за замовчуванням за допомогою
від нульових дат до нуля
· введіть дату, коли за замовчуванням "0000-00-00" відкидає значення за замовчуванням, використовуючи нульові дати до нуля
· введіть дату до дати
· введіть datetime в timestamptz
· введіть timestamp до timestamptz
· введіть рік у цілочисельне падіння typemod
Геометричні:
· введіть точку в точку за допомогою pgloader.transforms::convert-mysql-point
Типи Enum оголошуються вбудовані в MySQL і окремо за допомогою a CREATE TYPE командувати в
PostgreSQL, тому кожен стовпець Enum Type перетворюється на тип, названий на честь таблиці і
імена стовпців, визначені тими самими мітками в тому ж порядку.
Якщо визначення типу джерела не збігається ні в правилах переведення за замовчуванням, ні в
правила переведення, надані в команді, тоді використовується ім'я типу з typemod.
НАДАННЯ SQLite DATABASE
Ця команда інструктує pgloader завантажити дані з файлу SQLite. Автоматичне виявлення
підтримується схема, включаючи збірку індексів.
Ось приклад:
завантажити базу даних
з sqlite:///Users/dim/Downloads/lastfm_tags.db
в postgresql:///tags
за допомогою включення скидання, створення таблиць, створення індексів, скидання послідовностей
встановити work_mem на ´16MB´, maintenance_work_mem на ´512 MB´;
Команда sqlite команда приймає такі положення та параметри:
· З
Шлях або URL-адреса HTTP до файлу SQLite може бути a ZIP. файлу.
· З
При завантаженні з а SQLite бази даних підтримуються такі параметри:
При завантаженні з а SQLite базою даних, підтримуються наступні параметри та
дефолт З пункт: немає усікати, створювати Таблиці, включати падіння, створювати покажчики,
скидання послідовності, нижній регістр ідентифікатори, кодування «utf-8»..
· включати падіння
Коли ця опція вказана, ploader видаляє всі таблиці в цільовому PostgreSQL
бази даних, імена якої відображаються в базі даних SQLite. Ця опція дозволяє використовувати
одну і ту ж команду кілька разів поспіль, поки ви не зрозумієте всі варіанти, починаючи
автоматично з чистого середовища. Будь ласка, зверніть увагу, що CASCADE використовується для забезпечення
що таблиці відкидаються, навіть якщо на них вказують зовнішні ключі. Це
саме що включати падіння призначений для: скинути всі цільові таблиці та створити повторно
Ними.
При використанні потрібно бути дуже обережним включати падіння, оскільки це буде каскадом всі
об'єкти, які посилаються на цільові таблиці, можливо, включаючи інші таблиці, які не є такими
завантажується з вихідної БД.
· включати немає падіння
Коли ця опція вказана, ploader не включатиме жодного DROP заява при завантаженні
дані.
· усікати
Коли ця опція вказана, ploader видає ЗРУЧИТИ команда проти кожного
Таблиця PostgreSQL безпосередньо перед завантаженням в неї даних.
· немає усікати
Коли ця опція вказана, ploader видає номер ЗРУЧИТИ команда
· забороняти тригери
Коли ця опція вказана, ploader видає файл АЛЬТЕР ТАБЛИЦЯ ... ВІМКНУТИ TRIGGER ALL
команду проти цільової таблиці PostgreSQL перед копіюванням даних, а потім команду
АЛЬТЕР ТАБЛИЦЯ ... ENABLE TRIGGER ALL як тільки КОПІЯ робиться.
Цей параметр дозволяє завантажувати дані в уже існуючу таблицю, ігноруючи іноземні ключ
обмеження і визначені користувачем тригери, що може призвести до недійсних іноземні ключ
обмеження після завантаження даних. Використовуйте з обережністю.
· створювати Таблиці
Коли ця опція вказана, pgloader створює таблицю, використовуючи метадані, знайдені в
SQLite файл, який повинен містити список полів з їх типом даних. Стандартний
Перетворення типу даних з DBF в PostgreSQL виконано.
· створювати немає Таблиці
Коли ця опція вказана, ploader пропускає створення таблиці перед завантаженням даних,
цільові таблиці повинні вже існувати.
· створювати покажчики
Коли ця опція вказана, pgloader отримує визначення всіх індексів, знайдених у
базу даних SQLite та створіть той самий набір визначень індексів для
База даних PostgreSQL.
· створювати немає покажчики
Коли ця опція вказана, ploader пропускає створення індексів.
· скидання послідовності
Коли ця опція вказана, в кінці завантаження даних і після індексів
все було створено, pgloader скидає всі створені послідовності PostgreSQL до поточних
максимальне значення стовпця, до якого вони приєднані.
· скидання немає послідовності
Коли ця опція вказана, ploader пропускає послідовності скидання після завантаження.
Варіанти схема тільки та дані тільки не впливають на цей параметр.
· схема тільки
Коли ця опція вказана, pgloader утримуватиметься від перенесення даних. Примітка
що схема в цьому контексті включає індекси, коли параметр створювати покажчики
було перераховано.
· дані тільки
Коли ця опція вказана, ploader видає лише файл КОПІЯ заяви, не роблячи жодних
інша обробка.
· кодування
Цей параметр дозволяє контролювати, з яким кодуванням аналізувати текстові дані SQLite.
За замовчуванням – UTF-8.
· CAST
Застереження cast дозволяє вказати користувацькі правила приведення, або перевантажити значення за замовчуванням
правила кастингу або вносити в них зміни в особливих випадках.
Будь ласка, зверніться до пункту MySQL CAST для отримання детальнішої інформації.
· ВКЛЮЧАЮЧИ ТІЛЬКИ ТАБЛИЦЯ ІМЕНА ЗБІГАННЯ
Введіть розділений комами список імен таблиць або регулярний вираз використовується для обмеження
таблиці для переміщення до підсписку.
приклад:
ВКЛЮЧАЮЧИ ЛИШЕ ВІДПОВІДНІ НАЗВА ТАБЛИЦ ~/фільм/, «актор».
· ВИКЛЮЧЕННЯ ТАБЛИЦЯ ІМЕНА ЗБІГАННЯ
Введіть розділений комами список імен таблиць або регулярний вираз використовується для виключення
імена таблиць із міграції. Цей фільтр застосовується лише до результату
ВКЛЮЧАЮЧИ фільтр
ВИКЛЮЧЕННЯ ВІДПОВІДАННЯ НАЗВ ТАБЛИЦ ~
ПОВЕРНЕНО SQLite КАСТИНГ ПРАВИЛА
Під час міграції з SQLite надаються такі правила кастингу:
числа:
· введіть tinyint до smallint
· введіть ціле число до bigint
· введіть float to float, використовуючи float-to-string
· тип реального до реального, використовуючи float-to-string
· введіть подвійну до подвійної точності, використовуючи float-to-string
· введіть числові в числові, використовуючи float-to-string
Тексти:
· введіть символ у текст, видаліть typemod
· введіть varchar до тексту скинути typemod
· введіть nvarchar для видалення тексту typemod
· введіть char до тексту drop typemod
· введіть nchar, щоб текст скинути typemod
· введіть nvarchar для видалення тексту typemod
· введіть clob до text drop typemod
Двійковий:
· введіть blob до bytea
Дата:
· введіть datetime to timestamptz, використовуючи sqlite-timestamp-to-timestamp
· введіть timestamp до timestamptz, використовуючи sqlite-timestamp-to-timestamp
· введіть timestamptz до timestamptz, використовуючи sqlite-timestamp-to-timestamp
НАДАННЯ MS SQL DATABASE
Ця команда інструктує pgloader завантажувати дані з бази даних MS SQL. Автоматичне виявлення
підтримується схема, включаючи збірку індексів, первинних і зовнішніх ключів
обмеження.
Ось приклад:
завантажити базу даних
з mssql://user@host/dbname
в postgresql:///dbname
включаючи лише імена таблиць, як-от «GlobalAccount» у схемі «dbo»
встановити work_mem на ´16MB´, maintenance_work_mem на ´512 MB´
перед завантаженням виконайте $$ drop schema, якщо існує каскад dbo; $$;
Команда mssql команда приймає такі положення та параметри:
· З
Рядок підключення до існуючого сервера бази даних MS SQL, який слухає і вітає
зовнішнє підключення TCP/IP. Оскільки ploader наразі підтримує драйвер FreeTDS, до
змініть порт сервера, будь ласка, експортуйте TDSPORT змінна оточення
· З
При завантаженні з а MS SQL бази даних, ті самі параметри, що й при завантаженні a MySQL база даних
підтримуються. Будь ласка, зверніться до розділу MySQL. Додаються такі параметри:
· створювати схеми
Коли ця опція вказана, pgloader створює ті самі схеми, що й у MS SQL
екземпляр. Це значення за замовчуванням.
· створювати немає схеми
Коли ця опція вказана, pgloader взагалі утримується від створення будь-яких схем, ви
необхідно переконатися, що цільова схема існує.
· CAST
Застереження cast дозволяє вказати користувацькі правила приведення, або перевантажити значення за замовчуванням
правила кастингу або вносити в них зміни в особливих випадках.
Будь ласка, зверніться до пункту MySQL CAST для отримання детальнішої інформації.
· ВКЛЮЧАЮЧИ ТІЛЬКИ ТАБЛИЦЯ ІМЕНА LIKE ´...´ [, ´...´] IN СХЕМА ´...´
Введіть розділений комами список шаблонів імен таблиць, які використовуються для обмеження таблиць
перейти до підсписку. Можна використовувати більше одного такого пункту, вони будуть накопичуватися
разом.
приклад:
включити лише імена таблиць lile ´GlobalAccount´ у схему ´dbo´
· ВИКЛЮЧЕННЯ ТАБЛИЦЯ ІМЕНА LIKE ´...´ [, ´...´] IN СХЕМА ´...´
Введіть розділений комами список шаблонів імен таблиць, які використовуються для виключення імен таблиць
від міграції. Цей фільтр застосовується лише до результату ВКЛЮЧАЮЧИ фільтр
ВИКЛЮЧЕННЯ НАЗВ ТАБЛИЦ, ЩО ВІДПОВІДАЮТЬ «Локальний обліковий запис» у схемі «dbo»
ПОВЕРНЕНО MS SQL КАСТИНГ ПРАВИЛА
Під час міграції з MS SQL надаються такі правила переведення:
числа:
· введіть tinyint до smallint
· введіть float to float, використовуючи float-to-string
· тип реального до реального, використовуючи float-to-string
· введіть подвійну до подвійної точності, використовуючи float-to-string
· введіть числові в числові, використовуючи float-to-string
· введіть десяткове число до числа, використовуючи float-to-string
· введіть гроші в числові за допомогою float-to-string
· введіть smallmoney в числові, використовуючи float-to-string
Тексти:
· введіть char до тексту drop typemod
· введіть nchat до тексту drop typemod
· введіть varchar до тексту скинути typemod
· введіть nvarchar для видалення тексту typemod
· введіть xml до тексту drop typemod
Двійковий:
· введіть двійковий файл до bytea, використовуючи байт-вектор-байт
· введіть varbinary to bytea, використовуючи byte-vector-to-bytea
Дата:
· введіть datetime в timestamptz
· введіть datetime2 у timestamptz
Інше:
· введіть біт до логічного значення
· тип hierarchyid до bytea
· введіть географію до bytea
· введіть uniqueidentifier до uuid за допомогою sql-server-uniqueidentifier-to-uuid
ПЕРЕТВОРЕННЯ ФУНКЦІЇ
Деякі типи даних реалізовані досить інакше, ніж функція перетворення
це необхідно. Цю функцію потрібно записати загальний лисити і шукається в
ploader.transforms пакет.
Деякі функції трансформації за замовчуванням надаються в ploader, і ви можете використовувати
-- навантаження Параметр командного рядка для завантаження та компіляції вашого власного файлу lisp у ploader на
час виконання. Щоб ваші функції були знайдені, не забудьте почати свій файл lisp з
наступна форма:
(у пакеті №:pgloader.transforms)
Надані функції перетворення:
· від нульових дат до нуля
Коли введена дата дорівнює нулям, поверніться нуль, який завантажується як PostgreSQL NULL
value.
· дата без роздільника
Застосовується від нульових дат до нуля потім перетворіть задану дату у формат PostgreSQL
фактично оброблятиме:
В: "20041002152952"
Out: "2004-10-02 15:29:52"
· час без роздільника
Перетворіть заданий час у формат, який PostgreSQL фактично обробить:
В: "08231560"
Вихід: "08:23:15.60"
· tinyint-to-boolean
Оскільки MySQL не має належного логічного типу, tinyint часто використовується для цього. Це
функція перетворюється 0 до помилковий і що завгодно ´правда´
· біти до логічного значення
Оскільки MySQL не має належного логічного типу, BIT часто використовується для цього. Це
функція перетворює 1-бітові бітові вектори з 0 до f та будь-яке інше значення для t..
· int-to-ip
Перетворіть ціле число в пунктирне представлення ip4.
В: 18435761
Вихід: "1.25.78.177"
· ip-діапазон
Перетворює пару цілих чисел, заданих у вигляді рядків, у діапазон ip4.
В: "16825344" "16825599"
Вихід: "1.0.188.0-1.0.188.255"
· convert-mysql-point
Перетворює з як текст представлення точок у MySQL до PostgreSQL
представництво.
У: "ТОЧКА(48.5513589 7.6926827)"
Вихід: "(48.5513589,7.6926827)"
· float-to-string
Перетворює float Common Lisp у рядок, придатний для float PostgreSQL:
В: 100.0d0
Вихід: "100.0"
· set-to-enum-array
Перетворює рядок, що представляє SET MySQL, у масив значень Enum PostgreSQL з
набір.
В: "foo,bar"
Виходить: "{foo,bar}"
· порожній рядок до нуля
Перетворіть порожній рядок у нульовий.
· правою обрізкою
Видаліть пробіли в кінці рядка.
· байт-вектор-в-байт
Перетворіть простий масив беззнакових байтів у шістнадцятковий формат PostgreSQL bytea
представлення, як задокументовано на
http://www.postgresql.org/docs/9.3/interactive/datatype-binary.html
· sqlite-timestamp-to-timestamp
Система типів SQLite досить цікава, тому впорайтеся з нею тут, щоб створити мітку часу
літералів, як очікується PostgreSQL. Це охоплює рік лише з 4 цифрами, 0 дат до
нульові та правильні рядки дати.
· sql-server-uniqueidentifier-to-uuid
Драйвер SQL Server отримує дані для типу uniqueidentifier як байтовий вектор, який ми
потім потрібно перетворити в рядок UUID для обробки вхідного формату PostgreSQL COPY.
· unix-timestamp-to-timestamptz
Перетворює мітку часу Unix (кількість секунд, що пройшли з початку 1970 року) у
правильний формат позначки часу PostgreSQL.
НАДАННЯ ПОВІДОМЛЕННЯ
Ця команда все ще є експериментальною і дозволяє отримувати повідомлення через UDP за допомогою системного журналу
як формат, і, залежно від відповідності правил, завантажує іменовані частини потоку даних
таблицю призначення.
ЗАВАНТАЖУВАТИ ПОВІДОМЛЕННЯ
ІЗ syslog://localhost:10514/
КОЛИ ВІДПОВІДАЄ rsyslog-msg В apache
РЕЄСТРАЦІЯ, мітка часу, ip, відпочинок
INTO postgresql://localhost/db?logs.apache
SET guc_1 = ´значення´, guc_2 = ´інше значення´
КОЛИ ВІДПОВІДАЄ rsyslog-msg В інших
РЕЄСТРАЦІЯ, позначка часу, назва програми, дані
INTO postgresql://localhost/db?logs.others
SET guc_1 = ´значення´, guc_2 = ´інше значення´
З apache = rsyslog
ДАНІ = IP ВІДПОЧИНОК
IP = 1*3 ЦИФРА "." 1*3DIGIT "."1*3DIGIT "."1*3DIGIT
ВІДПОЧИНОК = ~ /.*/
З іншими = rsyslog;
Оскільки команда все ще експериментальна, її параметри можуть бути змінені в майбутньому
деталі не задокументовані.
Використовуйте pgloader онлайн за допомогою служб onworks.net
