ນີ້ແມ່ນແອັບ Linux ທີ່ມີຊື່ວ່າ vLLM ເຊິ່ງລຸ້ນຫຼ້າສຸດສາມາດດາວໂຫຼດໄດ້ເປັນ v0.10.2sourcecode.tar.gz. ມັນສາມາດດໍາເນີນການອອນໄລນ໌ຢູ່ໃນຜູ້ໃຫ້ບໍລິການໂຮດຕິ້ງຟຣີ OnWorks ສໍາລັບສະຖານີບ່ອນເຮັດວຽກ.
ດາວນ໌ໂຫລດແລະດໍາເນີນການອອນໄລນ໌ app ນີ້ມີຊື່ vLLM ກັບ OnWorks ໄດ້ຟຣີ.
ປະຕິບັດຕາມຄໍາແນະນໍາເຫຼົ່ານີ້ເພື່ອດໍາເນີນການ app ນີ້:
- 1. ດາວໂຫຼດຄໍາຮ້ອງສະຫມັກນີ້ໃນ PC ຂອງທ່ານ.
- 2. ໃສ່ໃນຕົວຈັດການໄຟລ໌ຂອງພວກເຮົາ https://www.onworks.net/myfiles.php?username=XXXXX ດ້ວຍຊື່ຜູ້ໃຊ້ທີ່ທ່ານຕ້ອງການ.
- 3. ອັບໂຫລດແອັບພລິເຄຊັນນີ້ຢູ່ໃນຕົວຈັດການໄຟລ໌ດັ່ງກ່າວ.
- 4. ເລີ່ມ OnWorks Linux ອອນລາຍ ຫຼື Windows online emulator ຫຼື MACOS online emulator ຈາກເວັບໄຊທ໌ນີ້.
- 5. ຈາກ OnWorks Linux OS ທີ່ເຈົ້າຫາກໍ່ເລີ່ມຕົ້ນ, ໄປທີ່ຕົວຈັດການໄຟລ໌ຂອງພວກເຮົາ https://www.onworks.net/myfiles.php?username=XXXXX ດ້ວຍຊື່ຜູ້ໃຊ້ທີ່ທ່ານຕ້ອງການ.
- 6. ດາວນ໌ໂຫລດຄໍາຮ້ອງສະຫມັກ, ຕິດຕັ້ງມັນແລະດໍາເນີນການ.
ພາບຫນ້າຈໍ:
vLLM
DESCRIPTION:
vLLM ເປັນຫ້ອງສະໝຸດທີ່ໄວ ແລະໃຊ້ງ່າຍສຳລັບການສັງລວມ ແລະຮັບໃຊ້ LLM. ການບໍລິການຜ່ານທາງຂວາງສູງດ້ວຍລະບົບການຖອດລະຫັດຕ່າງໆ, ລວມທັງການເກັບຕົວຢ່າງຂະໜານ, ການຊອກຫາ beam, ແລະອື່ນໆ.
ຄຸນລັກສະນະ
- ການສະແດງຜົນການໃຫ້ບໍລິການທີ່ທັນສະໄໝ
- ການຄຸ້ມຄອງປະສິດທິພາບຂອງຄວາມຈໍາຂອງຄວາມສົນໃຈແລະຄຸນຄ່າທີ່ມີ PagedAttention
- batching ຢ່າງຕໍ່ເນື່ອງຂອງຄໍາຮ້ອງຂໍທີ່ເຂົ້າມາ
- ແກ່ນ CUDA ທີ່ດີທີ່ສຸດ
- ການເຊື່ອມໂຍງແບບບໍ່ມີຮອຍຕໍ່ກັບຕົວແບບ HuggingFace ທີ່ນິຍົມ
- Tensor parallelism ສະຫນັບສະຫນູນສໍາລັບການ inference ແຈກຢາຍ
ພາສາການຂຽນໂປຣແກຣມ
Python
ປະເພດ
ນີ້ແມ່ນແອັບພລິເຄຊັນທີ່ຍັງສາມາດເອົາມາຈາກ https://sourceforge.net/projects/vllm.mirror/. ມັນໄດ້ຖືກຈັດຢູ່ໃນ OnWorks ເພື່ອໃຫ້ດໍາເນີນການອອນໄລນ໌ດ້ວຍວິທີທີ່ງ່າຍທີ່ສຸດຈາກຫນຶ່ງໃນລະບົບປະຕິບັດງານຟຣີຂອງພວກເຮົາ.