הורדה של LLM Foundry עבור לינוקס

זוהי אפליקציית לינוקס בשם LLM Foundry שניתן להוריד את המהדורה האחרונה שלה בתור v0.3.0.zip. ניתן להפעיל אותו באופן מקוון בספק האירוח החינמי OnWorks עבור תחנות עבודה.

בצילומי מסך

LLM Foundry

תיאור

מציגים את MPT-7B, הערך הראשון בסדרת MosaicML Foundation שלנו. MPT-7B הוא שנאי מאומן מאפס על אסימוני 1T של טקסט וקוד. זהו קוד פתוח, זמין לשימוש מסחרי, ותואם את האיכות של LLaMA-7B. MPT-7B הוכשר על פלטפורמת MosaicML תוך 9.5 ימים ללא התערבות אנושית בעלות של ~200 אלף דולר. מודלים של שפות גדולות (LLMs) משנים את העולם, אבל עבור אלה מחוץ למעבדות התעשייה בעלות משאבים טובים, זה יכול להיות קשה מאוד להכשיר ולפרוס מודלים אלה. זה הוביל לשפע של פעילות המתמקדת ב-LLMs בקוד פתוח, כגון סדרת LLaMA מבית Meta, סדרת Pythia מבית EleutherAI, סדרת StableLM מבית StabilityAI ומודל OpenLLaMA מבית Berkeley AI Research.

תכונות

• מורשה לשימוש מסחרי (בניגוד ל-LLaMA)
• מאומן על כמות גדולה של נתונים (אסימוני 1T כמו LLaMA לעומת 300B עבור Pythia, 300B עבור OpenLLaMA ו-800B עבור StableLM)
• מוכנים להתמודד עם כניסות ארוכות במיוחד הודות ל-ALiBi (אימנו על עד 65k כניסות ויכולים להתמודד עם עד 84k לעומת 2k-4k עבור דגמי קוד פתוח אחרים)
• מותאם לאימון מהיר והסקת מסקנות (באמצעות FlashAttention ו-FasterTransformer)
• מצויד בקוד הדרכה יעיל ביותר בקוד פתוח
• MPT-7B Base הוא שנאי בסגנון מפענח עם 6.7B פרמטרים

שפת תכנות

פיתון

כל הקטגוריות

זוהי אפליקציה שניתן להביא גם מ-https://sourceforge.net/projects/llm-foundry.mirror/. הוא התארח ב-OnWorks על מנת להפעיל אותו באינטרנט בצורה הקלה ביותר מאחת ממערכות ההפעלה החינמיות שלנו.