This is the Linux app named Multimodal whose latest release can be downloaded as multimodalv2025.10.06.00sourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
Завантажте та запустіть онлайн цю програму під назвою Multimodal with OnWorks безкоштовно.
Дотримуйтесь цих інструкцій, щоб запустити цю програму:
- 1. Завантажив цю програму на свій ПК.
- 2. Введіть у наш файловий менеджер https://www.onworks.net/myfiles.php?username=XXXXX із потрібним ім'ям користувача.
- 3. Завантажте цю програму в такий файловий менеджер.
- 4. Запустіть онлайн-емулятор OnWorks Linux або Windows або онлайн-емулятор MACOS з цього веб-сайту.
- 5. З ОС OnWorks Linux, яку ви щойно запустили, перейдіть до нашого файлового менеджера https://www.onworks.net/myfiles.php?username=XXXXX з потрібним іменем користувача.
- 6. Завантажте програму, встановіть її та запустіть.
ЕКРАНИ
Ad
Мультимодальний
ОПИС
Цей проєкт, також відомий як TorchMultimodal, є бібліотекою PyTorch для створення, навчання та експериментування з мультимодальними, багатозадачними моделями у великих масштабах. Бібліотека надає модульні будівельні блоки, такі як кодери, модулі злиття, функції втрат та перетворення, що підтримують поєднання модальностей (зору, тексту, аудіо тощо) в уніфікованих архітектурах. Вона включає колекцію готових класів моделей, таких як ALBEF, CLIP, BLIP-2, COCA, FLAVA, MDETR та Omnivore, які служать еталонними реалізаціями, які ви можете прийняти або адаптувати. Дизайн підкреслює компонуємість: ви можете змішувати та поєднувати компоненти кодера, злиття та декодера, а не починати з монолітних моделей. Репозиторій також містить приклади скриптів та наборів даних для поширених мультимодальних завдань (наприклад, пошук, візуальні відповіді на запитання, заземлення), щоб ви могли тестувати та порівнювати моделі від початку до кінця. Інсталяція підтримує як CPU, так і CUDA, а кодова база є версіонною, тестованою та підтримується.
Функції
- Модульні енкодери, шари злиття та модулі втрат для мультимодальних архітектур
- Реалізації еталонних моделей (ALBEF, CLIP, BLIP-2, FLAVA, MDETR тощо)
- Приклади конвеєрів для таких завдань, як оцінка якості інформації (VQA), пошук, заземлення та багатозадачне навчання
- Гнучкі стратегії злиття: раннє, пізнє, перехресна увага тощо.
- Утиліти перетворення для попередньої обробки та вирівнювання модальностей
- Підтримка налаштувань процесора та графічного процесора з версійною та протестованою кодовою базою
Мова програмування
Python
Категорії
Цю програму також можна завантажити з https://sourceforge.net/projects/multimodal.mirror/. Вона розміщена в OnWorks для найпростішого запуску онлайн з однієї з наших безкоштовних операційних систем.
