이것은 Ubuntu Online, Fedora Online, Windows 온라인 에뮬레이터 또는 MAC OS 온라인 에뮬레이터와 같은 여러 무료 온라인 워크스테이션 중 하나를 사용하여 OnWorks 무료 호스팅 제공업체에서 실행할 수 있는 clfmerge 명령입니다.
프로그램:
이름
clfmerge - 타임스탬프를 기반으로 공통 로그 형식 웹 로그를 병합합니다.
개요
clfmerge [--돕다 | -시간] [-NS 크기] [-NS] [파일 이름]
기술
XNUMXD덴탈의 clfmerge 프로그램은 여러 웹 로그 파일을 병합하기 위해 정렬을 사용하지 않도록 설계되었습니다. 편물
대규모 사이트의 로그는 다양한 크기 범위에서 100억 개가 넘는 여러 파일로 구성됩니다.
기계. 이러한 파일의 경우 gnusort와 같은 프로그램을 사용하여 병합하는 것은 실용적이지 않습니다.
데이터가 항상 완전히 순서대로 정렬되지는 않기 때문에 파일을 삭제합니다(그래서 gnusort의 병합 옵션은
잘 작동하지 않습니다.) 그러나 무작위 순서는 아닙니다. 따라서 완전한 정렬을 수행하는 것은
쓰레기). 또한 정렬되는 날짜 필드는 지정하기가 특히 쉽지 않습니다.
gnusort의 경우(완료된 것을 본 적이 있지만 지저분했습니다).
이 프로그램은 여러 개의 대용량 로그 파일을 필요 없이 간단하고 빠르게 정렬하도록 설계되었습니다.
임시 저장 공간 또는 메모리의 지나치게 큰 버퍼(메모리 공간은
일반적으로 몇 메가에 불과합니다).
개요
명령줄에서 여러 개의 파일 이름(0에서 n까지)을 가져와서 엽니다.
CLF 형식의 웹 로그 데이터를 모두 읽고 읽습니다. 보이지 않는 라인
CLF 형식이어야 합니다(주의: 완전히 구문 분석되지 않으며 날짜를 결정하기 위한 최소한의 구문 분석만 수행됩니다).
수행됨)은 거부되고 표준 오류로 표시됩니다.
파일이 XNUMX개 지정되면 오류가 발생하지 않고 자동으로 출력됩니다.
아무것도 아닙니다. 이것은 다음을 사용하는 스크립트용입니다. 발견 로그 파일을 찾는 명령
로그 파일을 찾으려면 쉘 스크립트에서 추가 검사를 수행할 필요가 없습니다.
하나의 파일이 지정되면 데이터는 1000 라인 버퍼로 읽혀지고
날짜 순서대로 버퍼에서 제거되고 표준 출력에 표시됩니다. 이는
연결 시간 항목에 날짜를 기록하지만 이를 기록하는 웹 서버의 경우를 처리합니다.
완료 시 로그를 삭제하므로 순서가 맞지 않는 로그 파일이 생성됩니다(Netscape 웹
서버가 이 작업을 수행합니다. 다른 웹 서버가 수행하는 작업은 확인하지 않았습니다.
둘 이상의 파일이 지정되면 각 파일에서 한 줄을 읽습니다.
가장 빠른 타임스탬프는 XNUMX보다 늦은 타임스탬프를 반환할 때까지 읽혀집니다.
다른 파일 중. 그런 다음 이전 타임스탬프가 있는 파일을 읽습니다. 와 함께
여러 파일의 버퍼 크기는 1000줄 또는 100 * 파일 수(둘 중 하나)입니다.
더 큰). 버퍼가 가득 차면 첫 번째 줄이 제거되고 다음에 표시됩니다.
표준 출력.
옵션
-b 버퍼 크기
사용할 버퍼 크기를 지정합니다. 0이 지정되면 비활성화된다는 의미입니다.
속도를 향상시키는 데이터의 슬라이딩 윈도우 정렬.
-d 도메인 이름 맹글링을 켜기로 설정합니다. 즉, 줄이 이름으로 시작하면
요청된 사이트의 시작 부분에서 제거됩니다.
라인과 바로 / 로 변경됩니다 바로 http://www.company.com/ 어느 것이 허용
대규모 호스팅 사이트에 대한 좋은 그래프를 생성하는 Webalizer와 같은 프로그램. 또한 그것은
도메인 이름을 소문자로 만듭니다.
EXIT 지위
0 오류 없음
1 잘못된 매개변수
2 지정된 파일 중 하나를 열 수 없습니다
3 출력에 쓸 수 없습니다.
onworks.net 서비스를 사용하여 온라인으로 clfmerge 사용
