nccopy - Dalam talian di Awan

JADUAL:

NAMA

nccopy - Salin fail netCDF, menukar format, pemampatan atau chunking secara pilihan dalam fail
output.

SINOPSIS

nccopy [-k nama_baik ] [-jenis_kod] [-d n ] [-s] [-c chunkspec ] [-u] [-w] [-[v|V]
var1,...] [-[g|G] grp1,...] [-m bufsize ] [-h chunk_cache ] [-e cache_elems ]
[-r] dalam fail fail luar

DESCRIPTION

. nccopy utiliti menyalin fail netCDF input dalam mana-mana varian format yang disokong ke
output fail netCDF, secara pilihan menukar output kepada mana-mana format netCDF yang serasi
varian, memampatkan data, atau mengumpul semula data. Sebagai contoh, jika dibina dengan
pustaka netCDF-3, fail klasik netCDF boleh disalin ke fail offset 64-bit netCDF,
membenarkan pembolehubah yang lebih besar. Jika dibina dengan pustaka netCDF-4, fail klasik netCDF
boleh disalin ke fail netCDF-4 atau ke fail model klasik netCDF-4 juga, membenarkan
pemampatan data, perubahan skema yang cekap, saiz pembolehubah yang lebih besar dan penggunaan yang lain
ciri netCDF-4.

Jika tiada format output ditentukan, dengan sama ada -k nama_baik or -jenis_kod, kemudian keluaran
akan menggunakan format yang sama seperti input, melainkan input adalah klasik atau 64-bit mengimbangi dan
sama ada chunking atau mampatan ditentukan, dalam hal ini output akan menjadi netCDF-4
format model klasik. Mencuba beberapa jenis penukaran format akan mengakibatkan ralat,
jika penukaran tidak dapat dilakukan. Sebagai contoh, percubaan untuk menyalin fail netCDF-4 yang
menggunakan ciri model yang dipertingkatkan, seperti kumpulan atau rentetan panjang berubah-ubah, kepada mana-mana
jenis format netCDF lain yang menggunakan model klasik akan mengakibatkan ralat.

nccopy juga berfungsi sebagai contoh program netCDF-4 generik, dengan keupayaannya untuk membaca
mana-mana fail netCDF yang sah dan mengendalikan kumpulan bersarang, rentetan dan jenis yang ditentukan pengguna, termasuk
jenis kompaun bersarang secara sewenang-wenangnya, jenis panjang berubah-ubah dan data mana-mana netCDF-4 yang sah
jenis.

Jika sokongan DAP didayakan apabila nccopy telah dibina, nama fail mungkin menentukan URL DAP.
Ini boleh digunakan untuk menukar data pada pelayan DAP kepada fail netCDF tempatan.

PILIHAN

-k nama_baik
Gunakan nama format untuk menentukan jenis fail yang akan dibuat dan, secara inferens, fail
model data (iaitu netcdf-3 (klasik) atau netcdf-4 (dipertingkatkan)). Yang mungkin
hujah ialah:

'nc3' atau 'classic' => format klasik netCDF

'nc6' atau '64-bit offset' => netCDF format 64-bit

'nc4' atau 'netCDF-4' => format netCDF-4 (model data dipertingkatkan)

'nc7' atau 'netCDF-4 model klasik' => format model klasik netCDF-4

Nota: Nombor format lama '1', '2', '3', '4', bersamaan dengan nama format
'nc3', 'nc6', 'nc4' atau 'nc7' masing-masing, juga masih diterima tetapi tidak digunakan lagi,
disebabkan kekeliruan mudah antara nombor format dan nama format.

[-jenis_kod]
Gunakan kod angka format (bukan nama format) untuk menentukan jenis fail
dicipta dan, secara inferens, model data (iaitu netcdf-3 (klasik) berbanding netcdf-4
(dipertingkatkan)). Kod angka adalah:

3 => format klasik netcdf

6 => format netCDF 64-bit

4 => format netCDF-4 (model data yang dipertingkatkan)

7 => format model klasik netCDF-4
Kod angka "7" digunakan kerana "7=3+4", menyatakan format yang menggunakan netCDF-3
model data untuk keserasian dengan format storan netCDF-4 untuk prestasi. Kredit adalah
disebabkan oleh NCO untuk penggunaan kod angka ini dan bukannya nombor format lama dan mengelirukan.

-d n
Untuk keluaran netCDF-4, termasuk model klasik netCDF-4, nyatakan tahap deflasi
(tahap mampatan) untuk keluaran data berubah-ubah. 0 sepadan dengan tiada pemampatan
dan 9 kepada pemampatan maksimum, dengan tahap pemampatan yang lebih tinggi yang memerlukan
sedikit lebih banyak masa untuk memampatkan atau menyahmampat daripada tahap yang lebih rendah. Mampatan
dicapai mungkin juga bergantung pada parameter chunking output. Jika pilihan ini adalah
ditentukan untuk format klasik atau fail input format offset 64-bit, ia tidak
perlu juga menyatakan bahawa output mestilah model klasik netCDF-4, kerana itu
akan menjadi lalai. Jika pilihan ini tidak dinyatakan dan fail input mempunyai
pembolehubah termampat, mampatan masih akan dikekalkan dalam output, menggunakan
chunking yang sama seperti dalam input secara lalai.

Perhatikan bahawa nccopy memerlukan semua pembolehubah dimampatkan menggunakan pemampatan yang sama
tahap, tetapi API tidak mempunyai sekatan sedemikian. Dengan program anda boleh menyesuaikan
pemampatan bagi setiap pembolehubah secara bebas.

-s Untuk keluaran netCDF-4, termasuk model klasik netCDF-4, nyatakan shuffling
bait data berubah-ubah sebelum pemampatan atau selepas penyahmampatan. Kocok merujuk kepada
jalinan bait dalam ketulan supaya bait pertama semua nilai adalah
bersebelahan dalam storan, diikuti oleh semua bait kedua, dan seterusnya, yang selalunya
meningkatkan pemampatan. Pilihan ini diabaikan melainkan tahap deflasi bukan sifar
ditentukan. Menggunakan -d0 untuk menentukan tiada deflasi pada data input yang telah
dimampatkan dan dikocok mematikan kedua-dua pemampatan dan kocok dalam output.

-u Tukar sebarang dimensi saiz tanpa had dalam input kepada dimensi saiz tetap dalam
pengeluaran. Ini boleh mempercepatkan akses berubah-pada-satu-satu, tetapi memperlahankan rekod-pada-satu-
akses masa kepada berbilang pembolehubah sepanjang dimensi tanpa had.

-w Simpan output dalam memori (sebagai fail netCDF tanpa cakera) sehingga output ditutup, di mana
fail output masa ditulis ke cakera. Ini boleh mempercepatkan operasi seperti
menukar dimensi tanpa had kepada saiz tetap (pilihan-u), chunking, rechunking, atau
memampatkan input. Ia memerlukan memori yang tersedia cukup besar untuk disimpan
fail keluaran. Pilihan ini mungkin memberikan kelajuan yang lebih besar daripada penalaan berhati-hati
pilihan -m, -h, atau -e, dan ia pastinya lebih mudah.

-c chunkspec
Untuk output netCDF-4, termasuk model klasik netCDF-4, nyatakan chunking
(jubin berbilang dimensi) untuk data berubah dalam output. Ini berguna untuk
nyatakan unit capaian cakera, pemampatan atau penapis lain seperti checksum.
Menukar chunking dalam fail netCDF juga boleh mempercepatkan akses, dengan memilih
bentuk bongkah yang sesuai untuk corak capaian yang paling biasa.

. chunkspec argumen ialah rentetan perkaitan yang dipisahkan koma, masing-masing menentukan
nama dimensi, aksara '/', dan secara pilihan panjang ketulan yang sepadan
untuk dimensi tersebut. Tiada kosong sepatutnya muncul dalam rentetan chunkspec, kecuali
kemungkinan kosong yang terlepas yang merupakan sebahagian daripada nama dimensi. A chunkspec nama di
sekurang-kurangnya satu dimensi, dan boleh meninggalkan dimensi yang tidak boleh digunting atau untuk
yang mana panjang ketul lalai dikehendaki. Jika nama dimensi diikuti dengan a
aksara '/' tetapi tiada panjang ketulan berikutnya, panjang dimensi sebenar ialah
diandaikan. Jika menyalin fail model klasik ke fail output netCDF-4 dan tidak menamakan
semua dimensi dalam chunkspec, dimensi yang tidak dinamakan juga akan menggunakan yang sebenar
panjang dimensi untuk panjang bongkah. Contoh chunkspec untuk pembolehubah
yang menggunakan dimensi 'm' dan 'n' mungkin 'm/100,n/200' untuk menentukan 100 kali 200
ketulan. Untuk melihat chunks yang terhasil daripada menyalin dengan chunkspec, gunakan '-s'
pilihan ncdump pada fail output.

Chunkspec '/' yang menghilangkan semua nama dimensi dan panjang bongkah yang sepadan
menentukan bahawa tiada chunking akan berlaku dalam output, jadi boleh digunakan untuk menyahchunk semua
pemboleh ubah yang terpotong. Untuk melihat ketulan yang terhasil daripada penyalinan dengan a
chunkspec, gunakan pilihan '-s' ncdump pada fail output.

Sebagai pengoptimuman I/O, nccopy mempunyai ambang untuk saiz minimum bukan rekod
pembolehubah yang terkumpul, pada masa ini 8192 bait. Pada masa hadapan, gunakan ini
ambang dan saiznya boleh ditetapkan dalam pilihan.

Perhatikan bahawa nccopy memerlukan pembolehubah yang berkongsi dimensi untuk turut berkongsi bahagian
saiz yang dikaitkan dengan dimensi itu, tetapi antara muka pengaturcaraan tidak mempunyai sedemikian
sekatan. Jika anda perlu menyesuaikan chunking untuk pembolehubah secara bebas, anda
perlu menggunakan API perpustakaan dalam program utiliti tersuai.

-v var1,...
Output akan memasukkan nilai data untuk pembolehubah yang ditentukan, sebagai tambahan kepada
pengisytiharan semua dimensi, pembolehubah dan atribut. Satu atau lebih pembolehubah
mesti dinyatakan dengan nama dalam senarai dipisahkan koma mengikut pilihan ini. The
list mestilah satu hujah kepada arahan, oleh itu tidak boleh mengandungi unescaped
kosong atau aksara ruang putih lain. Pembolehubah yang dinamakan mestilah netCDF yang sah
pembolehubah dalam fail input. Pembolehubah dalam kumpulan dalam fail netCDF-4 mungkin
ditentukan dengan nama laluan mutlak, seperti "/GroupA/GroupA2/var". Penggunaan a
nama laluan relatif seperti 'var' atau "grp/var" menentukan semua nama pembolehubah yang sepadan
dalam fail. Lalai, tanpa pilihan ini, adalah untuk memasukkan nilai data untuk semua
pembolehubah dalam output.

-V var1,...
Output akan merangkumi pembolehubah yang ditentukan sahaja tetapi semua dimensi dan global
atau atribut kumpulan. Satu atau lebih pembolehubah mesti dinyatakan dengan nama dalam koma-
senarai terhad mengikut pilihan ini. Senarai itu mestilah satu hujah kepada
perintah, oleh itu tidak boleh mengandungi kosong yang tidak dilepaskan atau aksara ruang putih lain. The
pembolehubah yang dinamakan mestilah pembolehubah netCDF yang sah dalam fail input. Pembolehubah dalam
kumpulan dalam fail netCDF-4 boleh ditentukan dengan nama laluan mutlak, seperti
'/GroupA/GroupA2/var'. Penggunaan nama laluan relatif seperti 'var' atau 'grp/var'
menentukan semua nama pembolehubah yang sepadan dalam fail. Lalai, tanpa ini
pilihan, adalah untuk memasukkan semua pembolehubah dalam output.

-g grp1,...
Output akan memasukkan nilai data hanya untuk kumpulan yang ditentukan. Satu atau lebih
kumpulan mesti dinyatakan dengan nama dalam senarai dipisahkan koma berikutan pilihan ini.
Senarai itu mestilah satu hujah kepada arahan. Kumpulan yang dinamakan mestilah sah
kumpulan netCDF dalam fail input. Lalai, tanpa pilihan ini, adalah untuk memasukkan
nilai data untuk semua kumpulan dalam output.

-G grp1,...
Output akan merangkumi hanya kumpulan yang ditentukan. Satu atau lebih kumpulan mestilah
dinyatakan mengikut nama dalam senarai dipisahkan koma berikutan pilihan ini. Senarai mesti
menjadi satu hujah kepada perintah itu. Kumpulan yang dinamakan mestilah kumpulan netCDF yang sah
dalam fail input. Lalai, tanpa pilihan ini, adalah untuk memasukkan semua kumpulan
keluarannya.

-m bufsize
Nombor integer atau titik terapung yang menentukan saiz, dalam bait, salinan
penimbal digunakan untuk menyalin pembolehubah besar. Akhiran K, M, G atau T mendarab salinan
saiz penimbal masing-masing sebanyak seribu, juta, bilion atau trilion. The
lalai ialah 5 Mbytes, tetapi akan ditingkatkan jika perlu untuk memegang sekurang-kurangnya satu bahagian
pembolehubah chunked netCDF-4 dalam fail input. Anda mungkin mahu menentukan nilai
lebih besar daripada lalai untuk menyalin fail besar melalui rangkaian kependaman tinggi. menggunakan
pilihan '-w' mungkin memberikan prestasi yang lebih baik, jika output sesuai dengan ingatan.

-h chunk_cache
Untuk keluaran netCDF-4, termasuk model klasik netCDF-4, integer atau titik terapung
nombor yang menentukan saiz dalam bait cache chunk yang diperuntukkan untuk setiap chunk
pembolehubah. Ini bukan harta fail, tetapi hanya penalaan prestasi
parameter untuk mengelakkan pemampatan atau penyahmampatan data yang sama beberapa kali
sambil menyalin dan menukar bentuk bongkah. Akhiran K, M, G, atau T mendarabkan
saiz cache ketulan masing-masing sebanyak seribu, juta, bilion atau trilion. The
lalai ialah 4.194304 Mbytes (atau apa sahaja yang ditentukan untuk masa konfigurasi
tetap CHUNK_CACHE_SIZE apabila perpustakaan netCDF dibina). Sebaik-baiknya, nccopy
utiliti harus menerima hanya satu saiz penimbal memori dan membahagikannya secara optimum antara a
salin penimbal dan chunk cache, tetapi tiada algoritma umum untuk pengiraan optimum
saiz cache ketulan telah dilaksanakan lagi. Menggunakan pilihan '-w' mungkin memberikan yang lebih baik
prestasi, jika output sesuai dengan ingatan.

-e cache_elems
Untuk keluaran netCDF-4, termasuk model klasik netCDF-4, nyatakan bilangan ketulan
yang boleh disimpan oleh chunk cache. Akhiran K, M, G, atau T mendarab bilangan
ketulan yang boleh disimpan dalam cache sebanyak seribu, juta, bilion, atau
trilion, masing-masing. Ini bukan hak milik fail, tetapi hanya a
parameter penalaan prestasi untuk mengelakkan pemampatan atau penyahmampatan yang sama
data beberapa kali semasa menyalin dan menukar bentuk bongkah. Lalai ialah 1009
(atau apa sahaja yang ditentukan untuk pemalar masa konfigurasi CHUNK_CACHE_NELEMS apabila
perpustakaan netCDF telah dibina). Sebaik-baiknya, nccopy utiliti harus menentukan satu
nilai optimum untuk parameter ini, tetapi tiada algoritma umum untuk pengiraan
bilangan optimum elemen cache ketulan telah dilaksanakan lagi.

-r Baca fail input netCDF klasik atau 64-bit offset ke dalam fail netCDF tanpa cakera
ingatan sebelum menyalin. Memerlukan fail input yang cukup kecil untuk dimuatkan
ingatan. Untuk nccopy, ini nampaknya tidak memberikan apa-apa kelajuan yang ketara, jadi boleh
bukan pilihan yang berguna.

CONTOH

Buat salinan foo1.nc, fail netCDF dari sebarang jenis, kepada foo2.nc, fail netCDF yang sama
Jenis:

nccopy foo1.nc foo2.nc

Ambil perhatian bahawa salinan di atas tidak akan sepantas penggunaan cp atau utiliti salinan mudah lain,
kerana fail disalin hanya menggunakan API netCDF. Jika fail input mempunyai bait tambahan
selepas tamat data netCDF, data tersebut tidak akan disalin, kerana ia tidak
boleh diakses melalui antara muka netCDF. Jika fail asal dijana dalam "Tiada isian"
mod supaya nilai isian tidak disimpan untuk padding untuk penjajaran data, fail output
mungkin mempunyai bait padding yang berbeza.

Tukar fail model klasik netCDF-4, compressed.nc, yang menggunakan pemampatan, kepada netCDF-3
fail classic.nc:

nccopy -k classic compressed.nc classic.nc

Ambil perhatian bahawa 'nc3' boleh digunakan dan bukannya 'klasik'.

Muat turun pembolehubah 'time_bnds' dan atribut yang berkaitan daripada pelayan OPeNDAP dan
salin hasilnya ke fail netCDF bernama 'tb.nc':

nccopy 'http://test.opendap.org/opendap/data/nc/sst.mnmean.nc.gz?time_bnds' tb.nc

Ambil perhatian bahawa URL yang menamakan pembolehubah tertentu sebagai argumen baris perintah secara amnya
dipetik, untuk mengelakkan shell mentafsir aksara khas seperti '?'.

Mampatkan semua pembolehubah dalam fail input foo.nc, fail netCDF dari sebarang jenis, ke
fail keluaran bar.nc:

nccopy -d1 foo.nc bar.nc

Jika foo.nc ialah fail netCDF mengimbangi klasik atau 64-bit, bar.nc akan menjadi klasik netCDF-4
model fail netCDF, kerana varian format offset klasik dan 64-bit tidak menyokong
pemampatan. Jika foo.nc ialah fail netCDF-4 dengan beberapa pembolehubah dimampatkan menggunakan pelbagai
tahap deflasi, output juga akan menjadi fail netCDF-4 daripada jenis yang sama, tetapi semua fail
pembolehubah, termasuk sebarang pembolehubah tidak termampat dalam input, kini akan menggunakan tahap deflasi
1.

Andaikan data input termasuk pembolehubah grid yang menggunakan masa, lat, dimensi lon, dengan
1000 kali dengan 1000 latitud dengan 1000 longitud, dan bahawa dimensi masa paling berbeza
perlahan-lahan. Juga andaikan bahawa pengguna mahukan akses cepat kepada data pada setiap masa untuk set kecil
mata lat-lon. Mengakses data untuk 1000 kali biasanya memerlukan akses kepada 1000 cakera
blok, yang mungkin perlahan.

Menyusun semula data ke dalam ketulan pada cakera yang mempunyai sepanjang masa dalam setiap ketul untuk beberapa bahagian
koordinat lat dan lon akan mempercepatkan akses sedemikian. Untuk memotong data dalam
fail input slow.nc, fail netCDF dari sebarang jenis, kepada fail output fast.nc, anda boleh gunakan;

nccopy -c time/1000,lat/40,lon/40 slow.nc fast.nc

untuk menentukan ketulan data 1000 kali, 40 latitud dan 40 longitud. Jika anda sudah cukup
memori untuk mengandungi fail output, anda boleh mempercepatkan operasi penyambungan semula
ketara dengan mencipta output dalam ingatan sebelum menulisnya ke cakera pada tutup:

nccopy -w -c time/1000,lat/40,lon/40 slow.nc fast.nc

Gunakan nccopy dalam talian menggunakan perkhidmatan onworks.net