ນີ້ແມ່ນແອັບ Linux ທີ່ມີຊື່ວ່າ FlashInfer ເຊິ່ງລຸ້ນຫຼ້າສຸດສາມາດດາວໂຫຼດໄດ້ເປັນ v0.3.1sourcecode.tar.gz. ມັນສາມາດດໍາເນີນການອອນໄລນ໌ຢູ່ໃນຜູ້ໃຫ້ບໍລິການໂຮດຕິ້ງຟຣີ OnWorks ສໍາລັບສະຖານີບ່ອນເຮັດວຽກ.
ດາວນ໌ໂຫລດແລະດໍາເນີນການອອນໄລນ໌ app ນີ້ມີຊື່ FlashInfer ກັບ OnWorks ໄດ້ຟຣີ.
ປະຕິບັດຕາມຄໍາແນະນໍາເຫຼົ່ານີ້ເພື່ອດໍາເນີນການ app ນີ້:
- 1. ດາວໂຫຼດຄໍາຮ້ອງສະຫມັກນີ້ໃນ PC ຂອງທ່ານ.
- 2. ໃສ່ໃນຕົວຈັດການໄຟລ໌ຂອງພວກເຮົາ https://www.onworks.net/myfiles.php?username=XXXXX ດ້ວຍຊື່ຜູ້ໃຊ້ທີ່ທ່ານຕ້ອງການ.
- 3. ອັບໂຫລດແອັບພລິເຄຊັນນີ້ຢູ່ໃນຕົວຈັດການໄຟລ໌ດັ່ງກ່າວ.
- 4. ເລີ່ມ OnWorks Linux ອອນລາຍ ຫຼື Windows online emulator ຫຼື MACOS online emulator ຈາກເວັບໄຊທ໌ນີ້.
- 5. ຈາກ OnWorks Linux OS ທີ່ເຈົ້າຫາກໍ່ເລີ່ມຕົ້ນ, ໄປທີ່ຕົວຈັດການໄຟລ໌ຂອງພວກເຮົາ https://www.onworks.net/myfiles.php?username=XXXXX ດ້ວຍຊື່ຜູ້ໃຊ້ທີ່ທ່ານຕ້ອງການ.
- 6. ດາວນ໌ໂຫລດຄໍາຮ້ອງສະຫມັກ, ຕິດຕັ້ງມັນແລະດໍາເນີນການ.
ໜ້າ ຈໍ
Ad
FlashInfer
ລາຍລະອຽດ
FlashInfer ເປັນຫ້ອງສະຫມຸດ kernel ອອກແບບມາເພື່ອເສີມຂະຫຍາຍການບໍລິການຂອງຕົວແບບພາສາຂະຫນາດໃຫຍ່ (LLMs) ໂດຍການເພີ່ມປະສິດທິພາບການປະຕິບັດ inference. ມັນສະຫນອງກອບປະສິດທິພາບສູງທີ່ປະສົມປະສານ seamlessly ກັບລະບົບທີ່ມີຢູ່ແລ້ວ, ມີຈຸດປະສົງເພື່ອຫຼຸດຜ່ອນຄວາມລ່າຊ້າແລະປັບປຸງປະສິດທິພາບໃນການນໍາໃຊ້ LLM. FlashInfer ສະຫນັບສະຫນູນສະຖາປັດຕະຍະກໍາຮາດແວຕ່າງໆແລະຖືກສ້າງຂຶ້ນເພື່ອຂະຫນາດກັບຄວາມຕ້ອງການຂອງສະພາບແວດລ້ອມການຜະລິດ.
ຄຸນລັກສະນະ
- ການປະຕິບັດ kernel ທີ່ດີທີ່ສຸດສໍາລັບການ inference LLM
- ການເຊື່ອມໂຍງເຂົ້າກັບຂອບການບໍລິການທີ່ມີຢູ່ແລ້ວ
- ສະຫນັບສະຫນູນສໍາລັບສະຖາປັດຕະຮາດແວຫຼາຍ
- ການອອກແບບທີ່ສາມາດປັບຂະ ໜາດ ໄດ້ ສຳ ລັບສະພາບແວດລ້ອມການຜະລິດ
- ການຫຼຸດຜ່ອນການ latency inference
- ການປັບປຸງການນໍາໃຊ້ຊັບພະຍາກອນ
- ຄວາມເຂົ້າກັນໄດ້ກັບສະຖາປັດຕະຍະກໍາ LLM ທີ່ນິຍົມ
- ການມີຢູ່ໃນແຫຼ່ງເປີດ
- ສະຫນັບສະຫນູນຊຸມຊົນຢ່າງຫ້າວຫັນ
ພາສາການຂຽນໂປຣແກຣມ
Python
ປະເພດ
ນີ້ແມ່ນແອັບພລິເຄຊັນທີ່ຍັງສາມາດເອົາມາຈາກ https://sourceforge.net/projects/flashinfer.mirror/. ມັນໄດ້ຖືກຈັດຢູ່ໃນ OnWorks ເພື່ອໃຫ້ດໍາເນີນການອອນໄລນ໌ດ້ວຍວິທີທີ່ງ່າຍທີ່ສຸດຈາກຫນຶ່ງໃນລະບົບປະຕິບັດງານຟຣີຂອງພວກເຮົາ.
