Це програма для Linux під назвою LLM Foundry, останню версію якої можна завантажити як v0.3.0.zip. Його можна запустити онлайн у безкоштовного хостинг-провайдера OnWorks для робочих станцій.
Завантажте та запустіть цю програму під назвою LLM Foundry with OnWorks безкоштовно.
Дотримуйтесь цих інструкцій, щоб запустити цю програму:
- 1. Завантажив цю програму на свій ПК.
- 2. Введіть у наш файловий менеджер https://www.onworks.net/myfiles.php?username=XXXXX із потрібним ім'ям користувача.
- 3. Завантажте цю програму в такий файловий менеджер.
- 4. Запустіть онлайн-емулятор OnWorks Linux або Windows або онлайн-емулятор MACOS з цього веб-сайту.
- 5. З ОС OnWorks Linux, яку ви щойно запустили, перейдіть до нашого файлового менеджера https://www.onworks.net/myfiles.php?username=XXXXX з потрібним іменем користувача.
- 6. Завантажте програму, встановіть її та запустіть.
ЕКРАНИ
Ad
LLM Ливарний завод
ОПИС
Представляємо MPT-7B, першу статтю в нашій серії MosaicML Foundation. MPT-7B — це трансформатор, навчений з нуля на 1T токенів тексту та коду. Це відкритий код, доступний для комерційного використання та відповідає якості LLaMA-7B. MPT-7B було навчено на платформі MosaicML за 9.5 днів без втручання людини за ціною ~200 тисяч доларів. Великі мовні моделі (LLM) змінюють світ, але для тих, хто не має належних ресурсів галузевих лабораторій, може бути надзвичайно важко навчати та розгортати ці моделі. Це призвело до бурхливої активності, зосередженої на LLM з відкритим кодом, наприклад серії LLaMA від Meta, серії Pythia від EleutherAI, серії StableLM від StabilityAI та моделі OpenLLaMA від Berkeley AI Research.
риси
- Ліцензовано для комерційного використання (на відміну від LLaMA)
- Навчання на великій кількості даних (токени 1T, такі як LLaMA, проти 300B для Pythia, 300B для OpenLLaMA та 800B для StableLM)
- Підготовлений до обробки надзвичайно довгих вхідних даних завдяки ALiBi (ми тренувалися на входах до 65 Кб і можемо обробляти до 84 Кб проти 2 Кб-4 Кб для інших моделей з відкритим кодом)
- Оптимізовано для швидкого навчання та висновків (через FlashAttention і FasterTransformer)
- Оснащений високоефективним навчальним кодом з відкритим кодом
- MPT-7B Base - це трансформатор у стилі декодера з параметрами 6.7B
Мова програмування
Python
Категорії
Це програма, яку також можна завантажити з https://sourceforge.net/projects/llm-foundry.mirror/. Його розміщено в OnWorks, щоб його можна було найпростіше запускати онлайн з однієї з наших безкоштовних операційних систем.
