Aceasta este aplicația Linux numită Text Generation Inference, a cărei ultimă versiune poate fi descărcată ca v3.3.6sourcecode.tar.gz. Poate fi rulată online pe furnizorul de găzduire gratuită OnWorks pentru stații de lucru.
Descărcați și rulați online gratuit această aplicație numită Text Generation Inference with OnWorks.
Urmați aceste instrucțiuni pentru a rula această aplicație:
- 1. Ați descărcat această aplicație pe computer.
- 2. Introduceți în managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator pe care îl doriți.
- 3. Încărcați această aplicație într-un astfel de manager de fișiere.
- 4. Porniți emulatorul online OnWorks Linux sau Windows online sau emulatorul online MACOS de pe acest site web.
- 5. Din sistemul de operare OnWorks Linux pe care tocmai l-ați pornit, accesați managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator dorit.
- 6. Descărcați aplicația, instalați-o și rulați-o.
SCREENSHOTS
Ad
Inferență de generare a textului
DESCRIERE
Text Generation Inference este un server de inferență de înaltă performanță pentru modele de generare de text, optimizat pentru Transformers din Hugging Face. Este conceput pentru a servi eficient modele lingvistice mari, cu optimizări pentru performanță și scalabilitate.
Categorii
- Optimizat pentru servirea modelelor lingvistice mari (LLM)
- Suportă procesarea în loturi și paralelismul pentru un randament ridicat
- Suport pentru cuantizare pentru performanță îmbunătățită
- Implementare bazată pe API pentru integrare ușoară
- Accelerare GPU și scalare multi-nod
- Transmitere de tokenuri încorporată pentru răspunsuri în timp real
Limbaj de programare
Piton
Categorii
Aceasta este o aplicație care poate fi descărcată și de la https://sourceforge.net/projects/text-generation-infer.mirror/. A fost găzduită în OnWorks pentru a putea fi rulată online în cel mai simplu mod de pe unul dintre sistemele noastre de operare gratuite.
