Це програма для Linux під назвою minGPT, останню версію якої можна завантажити як minGPTsourcecode.tar.gz. Її можна запускати онлайн на безкоштовному хостинг-провайдері OnWorks для робочих станцій.
Завантажте та запустіть онлайн цю програму під назвою minGPT разом з OnWorks безкоштовно.
Дотримуйтесь цих інструкцій, щоб запустити цю програму:
- 1. Завантажив цю програму на свій ПК.
- 2. Введіть у наш файловий менеджер https://www.onworks.net/myfiles.php?username=XXXXX із потрібним ім'ям користувача.
- 3. Завантажте цю програму в такий файловий менеджер.
- 4. Запустіть онлайн-емулятор OnWorks Linux або Windows або онлайн-емулятор MACOS з цього веб-сайту.
- 5. З ОС OnWorks Linux, яку ви щойно запустили, перейдіть до нашого файлового менеджера https://www.onworks.net/myfiles.php?username=XXXXX з потрібним іменем користувача.
- 6. Завантажте програму, встановіть її та запустіть.
ЕКРАНИ
Ad
мінімальний GPT
ОПИС
minGPT — це мінімалістична освітня реалізація архітектури GPT (генеративного попередньо навченого трансформатора), побудована на PyTorch, розроблена Андрієм Карпаті, щоб розкрити основну структуру мовної моделі на основі трансформатора в якомога меншій кількості рядків коду. Вона позбавляється зайвих функцій, прагнучи показати, як послідовність індексів токенів подається в стек блоків трансформатора, а потім декодується в наступні ймовірності токенів, з підтримкою як навчання, так і логічного висновку. Оскільки вся модель складається приблизно з 300 рядків коду, користувачі можуть відстежувати кожен крок — від вбудовування пошуку, позиційного кодування, багатоголовкової уваги, шарів прямого зв'язку до вихідних головок — і таким чином розвінчувати міфи про те, як моделі в стилі GPT працюють «під поверхнею». Вона забезпечує практичну «пісочницю» для експериментів, дозволяючи учням налаштовувати архітектуру, набір даних або цикл навчання, не будучи перевантаженими абстракцією фреймворку.
Функції
- Компактна реалізація трансформатора в стилі GPT на PyTorch (~300 LOC)
- Включені процедури навчання та логічного висновку, що дозволяє створювати та вибірково використовувати модель
- Чітка архітектура: вбудовування, позиційне кодування, багатоголовкова увага, шари прямого зв'язку
- Легко змінювати, розширювати або рефакторувати для експериментів
- Прозорий код, призначений для освітнього використання, а не для виробничого масштабу
- Підтримує набори даних іграшок та завдання підтвердження концепції для розуміння моделювання послідовностей
Мова програмування
Python
Категорії
Цю програму також можна завантажити з https://sourceforge.net/projects/mingpt.mirror/. Вона розміщена на OnWorks для найпростішого запуску онлайн з однієї з наших безкоштовних операційних систем.
