ນີ້ແມ່ນແອັບ Windows ທີ່ມີຊື່ວ່າ Text Generation Inference ເຊິ່ງລຸ້ນຫຼ້າສຸດສາມາດດາວໂຫຼດໄດ້ເປັນ v3.3.2sourcecode.zip. ມັນສາມາດດໍາເນີນການອອນໄລນ໌ຢູ່ໃນຜູ້ໃຫ້ບໍລິການໂຮດຕິ້ງຟຣີ OnWorks ສໍາລັບສະຖານີບ່ອນເຮັດວຽກ.
ດາວນ໌ໂຫລດແລະດໍາເນີນການອອນໄລນ໌ app ນີ້ມີຊື່ການຜະລິດຂໍ້ຄວາມ Inference ກັບ OnWorks ໄດ້ຟຣີ.
ປະຕິບັດຕາມຄໍາແນະນໍາເຫຼົ່ານີ້ເພື່ອດໍາເນີນການ app ນີ້:
- 1. ດາວໂຫຼດຄໍາຮ້ອງສະຫມັກນີ້ໃນ PC ຂອງທ່ານ.
- 2. ໃສ່ໃນຕົວຈັດການໄຟລ໌ຂອງພວກເຮົາ https://www.onworks.net/myfiles.php?username=XXXXX ດ້ວຍຊື່ຜູ້ໃຊ້ທີ່ທ່ານຕ້ອງການ.
- 3. ອັບໂຫລດແອັບພລິເຄຊັນນີ້ຢູ່ໃນຕົວຈັດການໄຟລ໌ດັ່ງກ່າວ.
- 4. ເລີ່ມ emulator ອອນ ໄລ ນ ໌ OS OnWorks ຈາກ ເວັບ ໄຊ ທ ໌ ນີ້, ແຕ່ ດີກ ວ່າ Windows ອອນ ໄລ ນ ໌ emulator.
- 5. ຈາກ OnWorks Windows OS ທີ່ເຈົ້າຫາກໍ່ເລີ່ມຕົ້ນ, ໄປທີ່ຕົວຈັດການໄຟລ໌ຂອງພວກເຮົາ https://www.onworks.net/myfiles.php?username=XXXXX ດ້ວຍຊື່ຜູ້ໃຊ້ທີ່ທ່ານຕ້ອງການ.
- 6. ດາວນ໌ໂຫລດຄໍາຮ້ອງສະຫມັກແລະຕິດຕັ້ງມັນ.
- 7. ດາວໂຫລດ Wine ຈາກບ່ອນເກັບມ້ຽນຊອບແວການແຈກຢາຍ Linux ຂອງທ່ານ. ເມື່ອຕິດຕັ້ງແລ້ວ, ທ່ານສາມາດຄລິກສອງຄັ້ງ app ເພື່ອດໍາເນີນການໃຫ້ເຂົາເຈົ້າກັບ Wine. ນອກນັ້ນທ່ານຍັງສາມາດລອງ PlayOnLinux, ການໂຕ້ຕອບທີ່ແປກປະຫຼາດໃນໄລຍະ Wine ທີ່ຈະຊ່ວຍໃຫ້ທ່ານຕິດຕັ້ງໂປລແກລມ Windows ແລະເກມທີ່ນິຍົມ.
ເຫຼົ້າແວງເປັນວິທີການແລ່ນຊອບແວ Windows ໃນ Linux, ແຕ່ບໍ່ມີ Windows ທີ່ຕ້ອງການ. ເຫຼົ້າແວງແມ່ນຊັ້ນຄວາມເຂົ້າກັນໄດ້ຂອງ Windows ແຫຼ່ງເປີດທີ່ສາມາດເອີ້ນໃຊ້ໂຄງການ Windows ໂດຍກົງໃນ desktop Linux ໃດກໍໄດ້. ໂດຍພື້ນຖານແລ້ວ, Wine ກໍາລັງພະຍາຍາມປະຕິບັດໃຫມ່ຢ່າງພຽງພໍຂອງ Windows ຕັ້ງແຕ່ເລີ່ມຕົ້ນເພື່ອໃຫ້ມັນສາມາດດໍາເນີນການຄໍາຮ້ອງສະຫມັກ Windows ທັງຫມົດໄດ້ໂດຍບໍ່ຕ້ອງໃຊ້ Windows.
ພາບຫນ້າຈໍ:
ການອ້າງອີງການສ້າງຂໍ້ຄວາມ
DESCRIPTION:
Text Generation Inference ແມ່ນເຊີບເວີ inference ທີ່ມີປະສິດທິພາບສູງສໍາລັບຕົວແບບການສ້າງຂໍ້ຄວາມ, ເຫມາະສໍາລັບ Hugging Face's Transformers. ມັນຖືກອອກແບບມາເພື່ອຮັບໃຊ້ຮູບແບບພາສາຂະຫນາດໃຫຍ່ຢ່າງມີປະສິດທິພາບດ້ວຍການເພີ່ມປະສິດທິພາບສໍາລັບການປະຕິບັດແລະການຂະຫຍາຍ.
ຄຸນລັກສະນະ
- ເຫມາະສໍາລັບການບໍລິການແບບຈໍາລອງພາສາຂະຫນາດໃຫຍ່ (LLMs)
- ສະຫນັບສະຫນູນ batching ແລະຂະຫນານສໍາລັບການ throughput ສູງ
- ສະຫນັບສະຫນູນປະລິມານສໍາລັບການປັບປຸງປະສິດທິພາບ
- ການນຳໃຊ້ API ເພື່ອການເຊື່ອມໂຍງກັບງ່າຍ
- ການເລັ່ງ GPU ແລະການປັບຂະ ໜາດ ຫຼາຍໂຫນດ
- ການຖ່າຍທອດໂທເຄັນໃນຕົວສຳລັບການຕອບສະໜອງແບບສົດໆ
ພາສາການຂຽນໂປຣແກຣມ
Python
ປະເພດ
ນີ້ແມ່ນແອັບພລິເຄຊັນທີ່ຍັງສາມາດເອົາມາຈາກ https://sourceforge.net/projects/text-generation-infer.mirror/. ມັນໄດ້ຖືກຈັດຢູ່ໃນ OnWorks ເພື່ອໃຫ້ດໍາເນີນການອອນໄລນ໌ດ້ວຍວິທີທີ່ງ່າຍທີ່ສຸດຈາກຫນຶ່ງໃນລະບົບປະຕິບັດງານຟຣີຂອງພວກເຮົາ.