Pruna AI라는 이름의 Linux 앱으로, 최신 버전은 v0.2.5sourcecode.tar.gz 형식으로 다운로드할 수 있습니다. 워크스테이션용 무료 호스팅 제공업체인 OnWorks에서 온라인으로 실행할 수 있습니다.
Pruna AI with OnWorks라는 앱을 무료로 다운로드하여 온라인에서 실행해보세요.
이 앱을 실행하려면 다음 지침을 따르세요.
- 1. 이 애플리케이션을 PC에 다운로드했습니다.
- 2. 파일 관리자 https://www.onworks.net/myfiles.php?username=XXXXX에 원하는 사용자 이름을 입력합니다.
- 3. 이러한 파일 관리자에서 이 응용 프로그램을 업로드합니다.
- 4. 이 웹사이트에서 OnWorks Linux 온라인 또는 Windows 온라인 에뮬레이터 또는 MACOS 온라인 에뮬레이터를 시작합니다.
- 5. 방금 시작한 OnWorks Linux OS에서 원하는 사용자 이름으로 파일 관리자 https://www.onworks.net/myfiles.php?username=XXXXX로 이동합니다.
- 6. 응용 프로그램을 다운로드하여 설치하고 실행합니다.
스크린샷:
프루나 AI
설명 :
Pruna는 팀이 프라이빗 또는 하이브리드 인프라에서 대규모 언어 모델(LLM)을 효율적으로 배포하고 관리할 수 있도록 설계된 오픈 소스 셀프 호스팅 AI 추론 엔진입니다. 성능과 개발자의 인체공학을 고려하여 설계된 Pruna는 다중 모델 오케스트레이션, 자동 확장, GPU 리소스 할당 및 인기 오픈 소스 모델과의 호환성을 지원하여 추론 워크플로를 간소화합니다. 외부 API에 대한 의존도를 줄이면서 속도, 비용 효율성, 그리고 데이터 및 AI 스택에 대한 완벽한 제어를 유지하려는 기업이나 팀에 이상적입니다. 확장성과 관측 가능성에 중점을 둔 Pruna는 엔지니어가 프로토타입에서 프로덕션 단계까지 LLM 애플리케이션을 안전하고 안정적으로 확장할 수 있도록 지원합니다.
기능
- LLM 추론 관리를 위한 셀프 호스팅 엔진
- 다중 모델 오케스트레이션 및 라우팅 지원
- 리소스 최적화를 위한 동적 자동 확장
- GPU 인식 스케줄링 및 부하 분산
- LLaMA 및 Mistral과 같은 오픈 소스 모델과 호환 가능
- 쉬운 통합을 위한 HTTP 및 gRPC API
- 내장된 관찰성 및 성능 추적
- Docker 및 Kubernetes 지원으로 배포 준비 완료
프로그래밍 언어
Python
카테고리
이 애플리케이션은 https://sourceforge.net/projects/pruna-ai.mirror/에서도 다운로드할 수 있습니다. OnWorks에 호스팅되어 무료 운영 체제 중 하나에서 가장 쉽게 온라인에서 실행할 수 있습니다.