This is the Linux app named Multimodal whose latest release can be downloaded as multimodalv2025.10.06.00sourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
Бесплатно скачайте и запустите онлайн это приложение под названием Multimodal с OnWorks.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите онлайн-эмулятор OnWorks Linux или Windows или онлайн-эмулятор MACOS с этого веб-сайта.
- 5. В только что запущенной ОС OnWorks Linux перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение, установите его и запустите.
СКРИНШОТЫ
Ad
мультимодальные
ОПИСАНИЕ
Этот проект, также известный как TorchMultimodal, представляет собой библиотеку PyTorch для создания, обучения и экспериментов с многомодальными многозадачными моделями в больших масштабах. Библиотека предоставляет модульные строительные блоки, такие как кодировщики, модули слияния, функции потерь и преобразования, поддерживающие комбинирование модальностей (визуализация, текст, аудио и т. д.) в унифицированных архитектурах. Она включает в себя набор готовых классов моделей, таких как ALBEF, CLIP, BLIP-2, COCA, FLAVA, MDETR и Omnivore, которые служат эталонными реализациями, которые можно адаптировать или адаптировать. В проекте особое внимание уделяется компонуемости: вы можете комбинировать компоненты кодировщика, слияния и декодера, а не начинать с монолитных моделей. Репозиторий также включает примеры скриптов и наборы данных для распространённых многомодальных задач (например, поиск, визуальный ответ на вопрос, заземление), что позволяет тестировать и сравнивать модели на всех этапах. Установка поддерживает как CPU, так и CUDA, а кодовая база версионируется, тестируется и поддерживается.
Особенности
- Модульные кодеры, слои слияния и модули потерь для многомодальных архитектур
- Реализации эталонных моделей (ALBEF, CLIP, BLIP-2, FLAVA, MDETR и т. д.)
- Примеры конвейеров для таких задач, как VQA, поиск, заземление и многозадачное обучение
- Гибкие стратегии слияния: раннее, позднее, перекрестное внимание и т. д.
- Утилиты преобразования для предварительной обработки и выравнивания модальности
- Поддержка настроек ЦП и ГП с версионированной, протестированной кодовой базой
Язык программирования
Питон
Категории
Это приложение также можно скачать по адресу https://sourceforge.net/projects/multimodal.mirror/. Оно размещено на платформе OnWorks для максимально удобного запуска онлайн через одну из наших бесплатных операционных систем.
