HPCdaligner - ออนไลน์ในคลาวด์

โครงการ:

ชื่อ

HPCdaligner - สร้างสคริปต์เพื่อเรียกใช้ ไดไลน์เนอร์(1)

เรื่องย่อ

HPCdaligner [-vbAI] [-kint(14)] [-wint(6)][-hint(35)] [-tint] [-Mint] [-eสองเท่า(.70)]
[-lint(1000)] [-sint(100)] [-Hint] [-mลู่--ดาลint(4)] [-องศาint(25)] เส้นทาง:db|dam
[ครั้งแรก:int[-ล่าสุด:int]]

DESCRIPTION

HPCdaligner เขียนเชลล์สคริปต์ UNIX ไปยังเอาต์พุตมาตรฐานที่ประกอบด้วยลำดับ
ของคำสั่งที่ทำงานได้อย่างมีประสิทธิภาพ ไดไลน์เนอร์(1) ในทุกคู่ของบล็อกของฐานข้อมูลแยก
จากนั้นจึงคัดแยกและรวมเข้าด้วยกันโดยใช้ ลาซอร์ท(1) และ ลาแมร์(1) เป็นคอลเลกชัน
ของไฟล์การจัดตำแหน่งที่มีชื่อ เส้นทาง.#.las โดยที่ # มีตั้งแต่ 1 ถึงจำนวนบล็อกที่
ฐานข้อมูลแบ่งออกเป็น ไฟล์ที่จัดเรียงเหล่านี้หากต่อกันโดย say แอลแคต(1) จะมี
การจัดตำแหน่งทั้งหมดตามลำดับการจัดเรียง (ของ a-read จากนั้น b-read เป็นต้น) นอกจากนี้ทั้งหมด
การทับซ้อนสำหรับ a-read ที่กำหนดจะรับประกันว่าจะไม่ถูกแบ่งออกเป็นไฟล์ต่างๆ ดังนั้นจึงสามารถเรียกใช้
เครื่องวิเคราะห์สิ่งประดิษฐ์หรือการแก้ไขข้อผิดพลาดในแต่ละไฟล์ที่จัดเรียงแบบคู่ขนาน

ก่อนหน้านี้ฐานข้อมูลจะต้องถูกแยกโดย ดีบีสปลิต(1) และพารามิเตอร์ทั้งหมด ยกเว้น
-v, -ดาลและ -องศา, จะถูกส่งผ่านไปยังการโทรไปยัง ไดไลน์เนอร์(1). ค่าเริ่มต้นสำหรับ
พารามิเตอร์เหล่านี้มีไว้สำหรับ ไดไลน์เนอร์(1) -v แฟล็กสำหรับโหมด verbose ก็จะถูกส่งต่อไปยัง
ทุกสายถึง ลาซอร์ท(1) และ ลาแมร์(1) -ดาล และ -องศา ตัวเลือกจะอธิบายในภายหลัง

สำหรับฐานข้อมูลที่แบ่งออกเป็นบล็อกย่อย N การเรียกไปยัง ไดไลน์เนอร์(1) จะผลิตทั้งหมด
ไฟล์ 2TN^2 .las สมมติว่า daligner ทำงานด้วยเธรด T สิ่งเหล่านี้จะถูกจัดเรียงและ
รวมเป็นไฟล์ .las ที่จัดเรียงโดย N^2 ไฟล์หนึ่งไฟล์สำหรับแต่ละคู่บล็อก สิ่งเหล่านี้จะถูกรวมเข้าใน
ceil(log_deg N) เฟสที่จำนวนไฟล์ลดลงในเชิงเรขาคณิตใน -องศา จนกระทั่ง
มี 1 ไฟล์ต่อแถวของเมทริกซ์บล็อก N x N ดังนั้นในตอนท้ายมีคน N sort .las
ไฟล์ที่เมื่อต่อกันแล้วจะให้ไฟล์ทับซ้อนที่เรียงลำดับขนาดใหญ่ไฟล์เดียว

พื้นที่ -ดาล ตัวเลือก (ค่าเริ่มต้น 4) ให้จำนวนที่ต้องการของการเปรียบเทียบบล็อกต่อการโทรไปยัง
ไดไลน์เนอร์(1). บางอย่างต้องมี Dal-1 การเปรียบเทียบและครั้งแรก Dal-2 การเปรียบเทียบบล็อก
แม้แต่น้อย แต่ HPCdaligner "นักวางแผน" พยายามอย่างเต็มที่เพื่อให้โหลดโดยเฉลี่ย
การเปรียบเทียบบล็อก dal ต่อคำสั่ง NS -องศา ตัวเลือก (ค่าเริ่มต้น 25) ให้จำนวนสูงสุด
ของไฟล์ที่จะรวมเป็นหนึ่งเดียว ลาแมร์(1) คำสั่ง นักวางแผนทำประโยชน์สูงสุด
แม้แต่ต้นไม้แห่งการผสาน k-ary โดยที่จำนวนของระดับคือ ceil(log_deg N)

ถ้าจำนวนเต็ม เป็นครั้งแรก และ ล่าสุด หายไปแล้วสคริปต์ที่สร้างขึ้นนั้นมีไว้สำหรับทุกบล็อกใน
ฐานข้อมูล ถ้า เป็นครั้งแรก มีอยู่แล้ว HPCdaligner สร้างสคริปต์ส่วนเพิ่มที่
เปรียบเทียบบล็อค เป็นครั้งแรก ตลอด ล่าสุด (ล่าสุด = เป็นครั้งแรก ถ้าไม่มี) ต่อกันและ
บล็อกก่อนหน้าทั้งหมด 1 ถึง เป็นครั้งแรก-1 จากนั้นค่อยอัปเดตไฟล์ .las สำหรับ
บล็อก 1 ถึง เป็นครั้งแรก-1 และสร้างไฟล์ .las สำหรับบล็อก เป็นครั้งแรก ตลอด ล่าสุด.

แต่ละเอาต์พุตบรรทัดคำสั่ง UNIX โดย HPCdaligner สามารถเป็นงานแบทช์ (เราใช้ &&
โอเปอเรเตอร์เพื่อรวมหลายคำสั่งเป็นหนึ่งบรรทัดเพื่อให้เป็นเช่นนั้น) การพึ่งพาระหว่าง
งานสามารถรักษาได้ง่าย ๆ โดยเรียกใช้ทั้งหมด .ก่อน ไดไลน์เนอร์(1) งาน จากนั้นทั้งหมด
งานเรียงลำดับเริ่มต้น และงานทั้งหมดในแต่ละเฟสของการเรียงลำดับการผสานภายนอก แต่ละ
ของขั้นตอนเหล่านี้จะถูกคั่นด้วยบรรทัดความคิดเห็นที่ให้ข้อมูลสำหรับการเขียนสคริปต์ของคุณ
ความสะดวกสบาย

ใช้ HPCdaligner ออนไลน์โดยใช้บริการ onworks.net