זוהי אפליקציית לינוקס בשם FastChat שניתן להוריד את המהדורה האחרונה שלה בתור Releasev0.2.30.zip. ניתן להפעיל אותו באופן מקוון בספק האירוח החינמי OnWorks עבור תחנות עבודה.
הורד והפעל באינטרנט את האפליקציה הזו בשם FastChat עם OnWorks בחינם.
בצע את ההוראות הבאות כדי להפעיל את האפליקציה הזו:
- 1. הורד את היישום הזה למחשב שלך.
- 2. הזן במנהל הקבצים שלנו https://www.onworks.net/myfiles.php?username=XXXXX עם שם המשתמש שאתה רוצה.
- 3. העלה את היישום הזה במנהל קבצים כזה.
- 4. הפעל את האמולטור המקוון של OnWorks Linux או Windows מקוון או אמולטור מקוון של MACOS מאתר זה.
- 5. ממערכת ההפעלה OnWorks Linux שזה עתה התחלת, עבור אל מנהל הקבצים שלנו https://www.onworks.net/myfiles.php?username=XXXXX עם שם המשתמש הרצוי.
- 6. הורד את האפליקציה, התקן אותה והפעל אותה.
צילומי מסך:
FastChat
תיאור:
FastChat היא פלטפורמה פתוחה להדרכה, הגשה והערכה של צ'אטבוטים גדולים המבוססים על מודלים של שפות. אם אין לך מספיק זיכרון, אתה יכול לאפשר דחיסה של 8 סיביות על ידי הוספת --load-8bit לפקודות למעלה. זה יכול להפחית את השימוש בזיכרון בכמחצית עם איכות דגם פגומה מעט. זה תואם ל-CPU, GPU ו-Back-end של מתכת. Vicuna-13B עם דחיסה של 8 סיביות יכול לפעול על NVIDIA 3090/4080/T4/V100(16GB) GPU יחיד. בנוסף לכך, אתה יכול להוסיף --cpu-offloading לפקודות למעלה כדי להוריד משקלים שאינם מתאימים ל-GPU שלך לזיכרון המעבד. זה דורש הפעלת דחיסה של 8 סיביות והתקנת חבילת bitsandbytes, שזמינה רק במערכות הפעלה לינוקס.
תכונות
- המשקולות, קוד האימון וקוד ההערכה עבור דגמים חדישים
- מערכת הגשה מבוזרת מרובת דגמים עם ממשק משתמש אינטרנטי וממשקי RESTful API תואמי OpenAI
- להדרכה, הגשה והערכת מודלים לשוניים גדולים
- הפחת את דרישת ה-CPU RAM של המרת משקל
- הסקה עם ממשק שורת הפקודה
- מספר דגמים נתמכים
שפת תכנות
פיתון
כל הקטגוריות
זוהי אפליקציה שניתן להביא גם מ-https://sourceforge.net/projects/fastchat.mirror/. הוא התארח ב-OnWorks על מנת להפעיל אותו באינטרנט בצורה הקלה ביותר מאחת ממערכות ההפעלה החינמיות שלנו.