이것은 최신 릴리스를 v0.2.1.post1sourcecode.zip으로 다운로드할 수 있는 VLLM이라는 Linux 앱입니다. 워크스테이션용 무료 호스팅 제공업체인 OnWorks에서 온라인으로 실행할 수 있습니다.
OnWorks가 포함된 VLLM이라는 앱을 무료로 온라인으로 다운로드하여 실행하세요.
이 앱을 실행하려면 다음 지침을 따르세요.
- 1. 이 애플리케이션을 PC에 다운로드했습니다.
- 2. 파일 관리자 https://www.onworks.net/myfiles.php?username=XXXXX에 원하는 사용자 이름을 입력합니다.
- 3. 이러한 파일 관리자에서 이 응용 프로그램을 업로드합니다.
- 4. 이 웹사이트에서 OnWorks Linux 온라인 또는 Windows 온라인 에뮬레이터 또는 MACOS 온라인 에뮬레이터를 시작합니다.
- 5. 방금 시작한 OnWorks Linux OS에서 원하는 사용자 이름으로 파일 관리자 https://www.onworks.net/myfiles.php?username=XXXXX로 이동합니다.
- 6. 응용 프로그램을 다운로드하여 설치하고 실행합니다.
스크린 샷
Ad
VLLM
기술
vLLM은 LLM 추론 및 제공을 위한 빠르고 사용하기 쉬운 라이브러리입니다. 병렬 샘플링, 빔 검색 등을 포함한 다양한 디코딩 알고리즘을 통해 높은 처리량을 제공합니다.
특징
- 최첨단 서비스 처리량
- PagedAttention을 사용하여 어텐션 키 및 값 메모리를 효율적으로 관리
- 들어오는 요청을 지속적으로 일괄 처리
- 최적화된 CUDA 커널
- 인기 있는 HuggingFace 모델과의 원활한 통합
- 분산 추론을 위한 텐서 병렬성 지원
프로그래밍 언어
Python
카테고리
이는 https://sourceforge.net/projects/vllm.mirror/에서도 가져올 수 있는 애플리케이션입니다. 무료 운영 시스템 중 하나에서 가장 쉬운 방법으로 온라인으로 실행하기 위해 OnWorks에서 호스팅되었습니다.
