זוהי אפליקציית לינוקס בשם FlashInfer, שאת הגרסה האחרונה שלה ניתן להוריד כ-v0.2.6.post1sourcecode.tar.gz. ניתן להריץ אותה באופן מקוון בספק האירוח החינמי OnWorks לתחנות עבודה.
הורד והפעל באופן מקוון את האפליקציה הזו בשם FlashInfer עם OnWorks בחינם.
בצע את ההוראות הבאות כדי להפעיל את האפליקציה הזו:
- 1. הורד את היישום הזה למחשב שלך.
- 2. הזן במנהל הקבצים שלנו https://www.onworks.net/myfiles.php?username=XXXXX עם שם המשתמש שאתה רוצה.
- 3. העלה את היישום הזה במנהל קבצים כזה.
- 4. הפעל את האמולטור המקוון של OnWorks Linux או Windows מקוון או אמולטור מקוון של MACOS מאתר זה.
- 5. ממערכת ההפעלה OnWorks Linux שזה עתה התחלת, עבור אל מנהל הקבצים שלנו https://www.onworks.net/myfiles.php?username=XXXXX עם שם המשתמש הרצוי.
- 6. הורד את האפליקציה, התקן אותה והפעל אותה.
צילומי מסך:
FlashInfer
תיאור:
FlashInfer היא ספריית ליבה שנועדה לשפר את השירות של מודלי שפה גדולים (LLMs) על ידי אופטימיזציה של ביצועי הסקה. היא מספקת מסגרת בעלת ביצועים גבוהים שמשתלבת בצורה חלקה עם מערכות קיימות, במטרה להפחית השהייה ולשפר את היעילות בפריסות LLM. FlashInfer תומך בארכיטקטורות חומרה שונות ובנוי להתאים לדרישות של סביבות ייצור.
תכונות
- פעולות ליבה אופטימליות עבור הסקת מסקנות LLM
- אינטגרציה חלקה עם מסגרות הגשה קיימות
- תמיכה בארכיטקטורות חומרה מרובות
- עיצוב ניתן להרחבה עבור סביבות ייצור
- הפחתה של זמן השהייה של הסקה
- ניצול משופר של משאבים
- תאימות עם ארכיטקטורות LLM פופולריות
- זמינות קוד פתוח
- תמיכה פעילה בקהילה
שפת תכנות
פיתון
כל הקטגוריות
זוהי אפליקציה שניתן להוריד גם מאתר https://sourceforge.net/projects/flashinfer.mirror/. היא אוחסנה ב-OnWorks על מנת שניתן יהיה להפעיל אותה באופן מקוון בצורה הקלה ביותר מאחת ממערכות ההפעלה החינמיות שלנו.