Это приложение для Windows под названием OmniParser, последнюю версию которого можно скачать в архиве v.2.0.1sourcecode.zip. Его можно запустить онлайн на бесплатном хостинг-провайдере OnWorks для рабочих станций.
Бесплатно скачайте и запустите онлайн это приложение под названием OmniParser с OnWorks.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите любой онлайн-эмулятор OS OnWorks с этого сайта, но лучше онлайн-эмулятор Windows.
- 5. В только что запущенной ОС Windows OnWorks перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение и установите его.
- 7. Загрузите Wine из репозиториев программного обеспечения вашего дистрибутива Linux. После установки вы можете дважды щелкнуть приложение, чтобы запустить его с помощью Wine. Вы также можете попробовать PlayOnLinux, необычный интерфейс поверх Wine, который поможет вам установить популярные программы и игры для Windows.
Wine - это способ запустить программное обеспечение Windows в Linux, но без Windows. Wine - это уровень совместимости с Windows с открытым исходным кодом, который может запускать программы Windows непосредственно на любом рабочем столе Linux. По сути, Wine пытается заново реализовать Windows с нуля, чтобы можно было запускать все эти Windows-приложения, фактически не нуждаясь в Windows.
СКРИНШОТЫ
Ad
ОмниПарсер
ОПИСАНИЕ
OmniParser — это комплексный метод анализа скриншотов пользовательского интерфейса на структурированные элементы, значительно расширяющий возможности мультимодальных моделей, таких как GPT-4, по генерации действий, точно привязанных к соответствующим областям интерфейса. Он надежно идентифицирует интерактивные значки в пользовательских интерфейсах и понимает семантику различных элементов на снимке экрана, связывая предполагаемые действия с соответствующими областями экрана. Для этого OmniParser использует набор данных обнаружения интерактивных значков, содержащий 67 000 уникальных изображений скриншотов, помеченных ограничивающими рамками интерактивных значков, полученными из деревьев DOM. Кроме того, коллекция из 7,000 пар «значок-описание» используется для тонкой настройки модели подписей, которая извлекает функциональную семантику обнаруженных элементов. Оценки в таких бенчмарках, как SeeClick, Mind2Web и AITW, показывают, что OmniParser превосходит базовые показатели GPT-4V, даже при использовании только скриншотов без дополнительной информации.
Особенности
- Разбирайте скриншоты пользовательского интерфейса на структурированные и простые для понимания элементы.
- Доступны примеры
- Расширяет возможности GPT-4V по генерации действий, которые можно точно закрепить в соответствующих областях интерфейса.
- Убедитесь, что в папке weights загружены веса V2.
- Лицензия на вес модели
Язык программирования
Питон
Категории
Это приложение также можно загрузить с сайта https://sourceforge.net/projects/omniparser-microsoft.mirror/. Оно размещено в OnWorks для максимально удобного запуска онлайн с помощью одной из наших бесплатных операционных систем.
