sh5util - 클라우드의 온라인

프로그램:

이름

sh5util - 수집하는 acct_gather_profile 플러그인에서 HDF5 파일을 병합하는 도구
Slurm에서 실행되는 작업에 대한 자세한 데이터

개요

sh5util

기술

sh5util은 작업의 각 단계에 대해 각 노드에서 생성된 HDF5 파일을 하나의 HDF5 파일로 병합합니다.
일을 위해. 결과 파일은 다음과 같은 일반적인 HDF5 도구로 보고 조작할 수 있습니다.
HDF5View, h5dump, h5edit 또는 h5ls.

sh5util에는 두 가지 추출 모드도 있습니다. 첫 번째는 특정 데이터에 대해 제한된 데이터 집합을 씁니다.
"쉼표로 구분된 값" 형식의 노드, 단계 및 데이터 시리즈를 파일로 변환할 수 있습니다.
스프레드시트와 같은 다른 분석 도구로 가져옵니다.

두 번째, (Item-Extract)는 모든 샘플에 대해 하나의 시계열에서 하나의 데이터 시간을 추출합니다.
작업 HDF5 프로필의 모든 노드에서.

- 아이템의 가치가 가장 높은 샘플을 찾습니다.

- 각 노드에 대한 최소, 평균, 최대 및 항목 총계가 포함된 CSV 파일 작성
견본

옵션

-E, --발췌

병합된 작업 파일에서 데이터 계열을 추출합니다.

추출 모드 옵션

-i, --입력=통로
추출할 병합된 파일(기본값 ./job_$jobid.h5)

-N, --마디=노드 이름
추출할 노드 이름(기본값은 모두)

-l, --수준=[노드:총계|노드:TimeSeries]
시리즈가 첨부되는 레벨입니다. (기본 노드:합계)

-s, --시리즈=[에너지 | 광택 | 네트워크 | 작업 | 일_#]
작업 모든 작업이며, 일_# (#은 작업 ID입니다.) (기본값은 모든 것입니다.)

-I, --항목 추출

데이터 시리즈의 모든 노드에서 하나의 데이터 시리즈의 모든 샘플에서 하나의 데이터 항목을 추출합니다.
병합된 작업 파일.

항목 추출 모드 옵션

-s, --시리즈=[에너지 | 광택 | 네트워크 | 일]

-d, --데이터
일련의 데이터 항목 이름(아래 참고 참조).

-j, --작업=
형식은 . 이 작업/단계 병합(또는 쉼표로 구분된 작업 목록)
단계). 이 옵션은 필수입니다. 단계를 지정하지 않으면 모든 단계가 생성됩니다.
처리된 것으로 확인되었습니다.

-h, --도움
이 사용 설명을 인쇄하십시오.

-o, --산출=통로
쓸 파일의 경로입니다.
병합의 기본값은 ./job_$jobid.h5입니다.
추출의 기본값은 ./extract_$jobid.csv입니다.

-p, --profiledir=DIR
node-step 파일이 존재하는 디렉토리 위치는 기본적으로 acct_gather.conf에 설정되어 있습니다.

-S, --저장 파일
작업 파일에 병합한 후 노드 단계 파일을 제거하는 대신 보관하십시오.
약.

--사용자=사용자
작업을 프로파일링한 사용자입니다. (루트 사용자에게 편리하며 기본값은 이것을 실행하는 사용자입니다.
명령.)

--용법
간단한 사용 메시지를 표시합니다.

Data 항목 용 연속

에너지
출력
CPU_주파수

광택
읽기
메가바이트_읽기
글쓰기
메가바이트_쓰기

네트워크
패킷_인
메가바이트_입력
패킷 출력
메가바이트 아웃

태스크
CPU_주파수
CPU_시간
CPU_사용률
RSS
VM_크기
페이지
읽기_메가바이트
Write_MB

예

노드 단계 파일 병합(sbatch 스크립트의 일부로)

sbatch -n1 -d$SLURM_JOB_ID --wrap="sh5util --savefiles -j $SLURM_JOB_ID"

노드에서 모든 작업 데이터 추출

sh5util -j 42 -N snowflake01 --level=노드:TimeSeries --series=작업

모든 에너지 데이터 추출
sh5util -j 42 --series=에너지 --data=전력

사자

Copyright (C) 2013 황소.
저작권 (C) 2013 SchedMD LLC. Slurm은 무료 소프트웨어입니다. 재배포 및/또는
Free에서 게시한 GNU General Public License의 조건에 따라 수정하십시오.
소프트웨어 재단; 라이선스 버전 2 또는 (귀하의 선택에 따라) 이후 버전
번역.

Slurm은 유용할 것이라는 희망으로 배포되지만 어떠한 보증도 하지 않습니다. 없이
상품성 또는 특정 목적에의 적합성에 대한 묵시적 보증도 포함됩니다. 참조
자세한 내용은 GNU General Public License.

onworks.net 서비스를 사용하여 온라인에서 sh5util 사용