HPCdaligner - Trực tuyến trên đám mây

CHƯƠNG TRÌNH:

TÊN

HPCdaligner - tạo một tập lệnh để chạy người daligner(1)

SYNOPSIS

HPCdaligner [-vbAI] [-kint(14)] [-wint(6)][-hint(35)] [-tint] [-Mint] [-egấp đôi (.70)]
[-lint(1000)] [-sint(100)] [-Hint] [-mtheo dõi] + [-dalint(4)] [-độint(25)] đường dẫn: db | dam
[đầu tiên: int[-cuối cùng: int]]

MÔ TẢ

HPCdaligner viết một tập lệnh shell UNIX vào đầu ra tiêu chuẩn bao gồm một chuỗi
lệnh chạy hiệu quả người daligner(1) trên tất cả các cặp khối của cơ sở dữ liệu phân tách
và sau đó sắp xếp bên ngoài và hợp nhất chúng bằng cách sử dụng LAsort(1) hợp nhất(1) thành một bộ sưu tập
trong số các tệp căn chỉnh có tên đường dẫn. #. las trong đó # phạm vi từ 1 đến số khối
cơ sở dữ liệu được chia thành. Các tệp được sắp xếp này nếu được nối với nhau bằng say lacat(1) sẽ chứa
tất cả các căn chỉnh theo thứ tự được sắp xếp (a-read, sau đó b-read, v.v.). Hơn nữa, tất cả
chồng chéo cho một lần đọc nhất định được đảm bảo không bị phân chia giữa các tệp, vì vậy một lần đọc có thể chạy
phân tích hiện vật hoặc sửa lỗi trên từng tệp được sắp xếp song song.

Cơ sở dữ liệu phải được phân chia trước đó bởi DBsplit(1) và tất cả các tham số, ngoại trừ
-v, -dalvà -độ, được chuyển qua các cuộc gọi tới người daligner(1). Các giá trị mặc định cho
những thông số này là cho người daligner(1). Các -v cờ, đối với chế độ tiết, cũng được chuyển tới
tất cả các cuộc gọi đến LAsort(1) hợp nhất(1). -dal và -độ các tùy chọn được mô tả sau.

Đối với cơ sở dữ liệu được chia thành N khối con, lệnh gọi đến người daligner(1) sẽ tạo ra tổng số
Tệp 2TN ^ 2 .las giả sử daligner chạy với T luồng. Sau đó, chúng sẽ được sắp xếp và
đã hợp nhất thành N ^ 2 tệp .las được sắp xếp, một tệp cho mỗi cặp khối. Sau đó, chúng được hợp nhất trong
giai đoạn ceil (log_deg N) trong đó số lượng tệp giảm về mặt hình học trong -độ cho đến khi
có 1 tệp trên mỗi hàng của ma trận khối N x N. Vì vậy, ở cuối người ta có N được sắp xếp .las
các tệp khi được nối sẽ tạo ra một tệp chồng chéo lớn được sắp xếp.

Sản phẩm -dal tùy chọn (mặc định 4) cung cấp số lượng so sánh khối mong muốn cho mỗi cuộc gọi đến
người daligner(1). Một số phải chứa dal-1 so sánh và so sánh đầu tiên dal-2 so sánh khối
thậm chí ít hơn, nhưng HPCdaligner "planner" làm tốt nhất có thể để cung cấp mức tải trung bình là
so sánh khối dal cho mỗi lệnh. Các -độ tùy chọn (mặc định 25) cho số lượng tối đa
trong số các tệp sẽ được hợp nhất thành một hợp nhất(1) lệnh. Người lập kế hoạch tận dụng tối đa
chẵn k-ary cây hợp nhất, trong đó số cấp là ceil (log_deg N).

Nếu các số nguyên Thành phố điện khí hóa phía tây dãy núi Rocky đầu tiên và cuối cùng bị thiếu, thì tập lệnh được tạo là cho mọi khối trong
kho dữ liệu. Nếu như Thành phố điện khí hóa phía tây dãy núi Rocky đầu tiên là hiện tại, sau đó HPCdaligner tạo ra một tập lệnh gia tăng
so sánh các khối Thành phố điện khí hóa phía tây dãy núi Rocky đầu tiên thông qua cuối cùng (cuối cùng = Thành phố điện khí hóa phía tây dãy núi Rocky đầu tiên nếu không có mặt) chống lại nhau và
tất cả các khối trước đó từ 1 đến Thành phố điện khí hóa phía tây dãy núi Rocky đầu tiên-1, và sau đó cập nhật từng bước các tệp .las cho
khối 1 đến hết Thành phố điện khí hóa phía tây dãy núi Rocky đầu tiên-1 và tạo tệp .las cho các khối Thành phố điện khí hóa phía tây dãy núi Rocky đầu tiên thông qua cuối cùng.

Mỗi dòng lệnh UNIX xuất ra bởi HPCdaligner có thể là một công việc hàng loạt (chúng tôi sử dụng &&
toán tử để kết hợp một số lệnh thành một dòng để thực hiện điều này). Sự phụ thuộc giữa
công việc có thể được duy trì đơn giản bằng cách đầu tiên chạy tất cả các người daligner(1) công việc, sau đó là tất cả
công việc sắp xếp ban đầu, và sau đó là tất cả các công việc trong mỗi giai đoạn của sắp xếp hợp nhất bên ngoài. Mỗi
trong số các giai đoạn này được phân tách bằng một dòng nhận xét cung cấp thông tin cho quá trình tạo tập lệnh của bạn
tiện.

Sử dụng HPCdaligner trực tuyến bằng các dịch vụ onworks.net