Ito ang Linux app na pinangalanang FlashInfer na ang pinakabagong release ay maaaring ma-download bilang v0.3.1sourcecode.tar.gz. Maaari itong patakbuhin online sa libreng hosting provider na OnWorks para sa mga workstation.
I-download at patakbuhin online ang app na ito na pinangalanang FlashInfer sa OnWorks nang libre.
Sundin ang mga tagubiling ito upang patakbuhin ang app na ito:
- 1. Na-download ang application na ito sa iyong PC.
- 2. Ipasok sa aming file manager https://www.onworks.net/myfiles.php?username=XXXXX kasama ang username na gusto mo.
- 3. I-upload ang application na ito sa naturang filemanager.
- 4. Simulan ang OnWorks Linux online o Windows online emulator o MACOS online emulator mula sa website na ito.
- 5. Mula sa OnWorks Linux OS na kasisimula mo pa lang, pumunta sa aming file manager https://www.onworks.net/myfiles.php?username=XXXX gamit ang username na gusto mo.
- 6. I-download ang application, i-install ito at patakbuhin ito.
MGA LALAKI
Ad
FlashInfer
DESCRIPTION
Ang FlashInfer ay isang kernel library na idinisenyo upang pahusayin ang paghahatid ng Large Language Models (LLMs) sa pamamagitan ng pag-optimize ng pagganap ng hinuha. Nagbibigay ito ng framework na may mataas na pagganap na walang putol na nagsasama sa mga kasalukuyang system, na naglalayong bawasan ang latency at pagbutihin ang kahusayan sa mga deployment ng LLM. Sinusuportahan ng FlashInfer ang iba't ibang mga arkitektura ng hardware at itinayo upang sukatin ang mga pangangailangan ng mga kapaligiran ng produksyon.
Mga tampok
- Na-optimize na pagpapatakbo ng kernel para sa LLM inference
- Walang putol na pagsasama sa mga kasalukuyang balangkas ng paghahatid
- Suporta para sa maramihang mga arkitektura ng hardware
- Nasusukat na disenyo para sa mga kapaligiran ng produksyon
- Pagbawas sa latency ng hinuha
- Pinahusay na paggamit ng mapagkukunan
- Pagkakatugma sa mga sikat na arkitektura ng LLM
- Availability ng open-source
- Aktibong suporta sa komunidad
Wika ng Programming
Sawa
Kategorya
Ito ay isang application na maaari ding makuha mula sa https://sourceforge.net/projects/flashinfer.mirror/. Na-host ito sa OnWorks upang mapatakbo online sa pinakamadaling paraan mula sa isa sa aming mga libreng Operative System.
