זוהי אפליקציית לינוקס בשם VLLM שניתן להוריד את המהדורה האחרונה שלה בתור v0.2.1.post1sourcecode.zip. ניתן להפעיל אותו באופן מקוון בספק האירוח החינמי OnWorks עבור תחנות עבודה.
הורד והפעל באינטרנט את האפליקציה הזו בשם VLLM עם OnWorks בחינם.
בצע את ההוראות הבאות כדי להפעיל את האפליקציה הזו:
- 1. הורד את היישום הזה למחשב שלך.
- 2. הזן במנהל הקבצים שלנו https://www.onworks.net/myfiles.php?username=XXXXX עם שם המשתמש שאתה רוצה.
- 3. העלה את היישום הזה במנהל קבצים כזה.
- 4. הפעל את האמולטור המקוון של OnWorks Linux או Windows מקוון או אמולטור מקוון של MACOS מאתר זה.
- 5. ממערכת ההפעלה OnWorks Linux שזה עתה התחלת, עבור אל מנהל הקבצים שלנו https://www.onworks.net/myfiles.php?username=XXXXX עם שם המשתמש הרצוי.
- 6. הורד את האפליקציה, התקן אותה והפעל אותה.
בצילומי מסך
Ad
VLLM
תיאור
vLLM היא ספרייה מהירה וקלה לשימוש להסקת LLM והגשה. הגשה בתפוקה גבוהה עם אלגוריתמי פענוח שונים, כולל דגימה מקבילה, חיפוש קרן ועוד.
תכונות
- תפוקת הגשה מתקדמת
- ניהול יעיל של מפתח קשב וזיכרון ערך עם PagedAttention
- אצווה רציפה של בקשות נכנסות
- גרעיני CUDA ממוטבים
- אינטגרציה חלקה עם דגמי HuggingFace פופולריים
- תמיכת מקביליות טנזור להסקה מבוזרת
שפת תכנות
פיתון
כל הקטגוריות
זוהי אפליקציה שניתן להביא גם מ-https://sourceforge.net/projects/vllm.mirror/. הוא התארח ב-OnWorks על מנת להפעיל אותו באינטרנט בצורה הקלה ביותר מאחת ממערכות ההפעלה החינמיות שלנו.
