Ini ialah apl Linux bernama FlashInfer yang keluaran terbarunya boleh dimuat turun sebagai v0.2.6.post1sourcecode.tar.gz. Ia boleh dijalankan dalam talian dalam penyedia pengehosan percuma OnWorks untuk stesen kerja.
Muat turun dan jalankan dalam talian apl bernama FlashInfer ini dengan OnWorks secara percuma.
Ikut arahan ini untuk menjalankan apl ini:
- 1. Memuat turun aplikasi ini dalam PC anda.
- 2. Masukkan dalam pengurus fail kami https://www.onworks.net/myfiles.php?username=XXXXX dengan nama pengguna yang anda mahukan.
- 3. Muat naik aplikasi ini dalam pengurus filem tersebut.
- 4. Mulakan OnWorks Linux dalam talian atau emulator dalam talian Windows atau emulator dalam talian MACOS dari tapak web ini.
- 5. Daripada OS Linux OnWorks yang baru anda mulakan, pergi ke pengurus fail kami https://www.onworks.net/myfiles.php?username=XXXX dengan nama pengguna yang anda mahukan.
- 6. Muat turun aplikasi, pasang dan jalankan.
SKRIN:
FlashInfer
HURAIAN:
FlashInfer ialah perpustakaan kernel yang direka untuk mempertingkatkan penyajian Model Bahasa Besar (LLM) dengan mengoptimumkan prestasi inferens. Ia menyediakan rangka kerja berprestasi tinggi yang menyepadukan dengan lancar dengan sistem sedia ada, bertujuan untuk mengurangkan kependaman dan meningkatkan kecekapan dalam penggunaan LLM. FlashInfer menyokong pelbagai seni bina perkakasan dan dibina mengikut skala dengan permintaan persekitaran pengeluaran.
Ciri-ciri
- Operasi kernel yang dioptimumkan untuk inferens LLM
- Penyepaduan lancar dengan rangka kerja penyajian sedia ada
- Sokongan untuk berbilang seni bina perkakasan
- Reka bentuk berskala untuk persekitaran pengeluaran
- Pengurangan dalam kependaman inferens
- Penggunaan sumber yang lebih baik
- Keserasian dengan seni bina LLM yang popular
- Ketersediaan sumber terbuka
- Sokongan komuniti aktif
Bahasa Pengaturcaraan
Python
Kategori
Ini adalah aplikasi yang juga boleh diambil dari https://sourceforge.net/projects/flashinfer.mirror/. Ia telah dihoskan dalam OnWorks untuk dijalankan dalam talian dengan cara yang paling mudah daripada salah satu Sistem Operasi percuma kami.