Este é o aplicativo para Windows chamado OmniParser, cuja versão mais recente pode ser baixada como v.2.0.1sourcecode.zip. Ele pode ser executado online no provedor de hospedagem gratuita OnWorks para estações de trabalho.
Baixe e execute online este aplicativo chamado OmniParser com OnWorks gratuitamente.
Siga estas instruções para executar este aplicativo:
- 1. Baixe este aplicativo em seu PC.
- 2. Entre em nosso gerenciador de arquivos https://www.onworks.net/myfiles.php?username=XXXXX com o nome de usuário que você deseja.
- 3. Carregue este aplicativo em tal gerenciador de arquivos.
- 4. Inicie qualquer emulador on-line OS OnWorks a partir deste site, mas um emulador on-line melhor do Windows.
- 5. No sistema operacional OnWorks Windows que você acabou de iniciar, acesse nosso gerenciador de arquivos https://www.onworks.net/myfiles.php?username=XXXXX com o nome de usuário que deseja.
- 6. Baixe o aplicativo e instale-o.
- 7. Baixe o Wine de seus repositórios de software de distribuição Linux. Depois de instalado, você pode clicar duas vezes no aplicativo para executá-lo com o Wine. Você também pode experimentar o PlayOnLinux, uma interface sofisticada do Wine que o ajudará a instalar programas e jogos populares do Windows.
Wine é uma forma de executar software Windows no Linux, mas sem a necessidade de Windows. Wine é uma camada de compatibilidade do Windows de código aberto que pode executar programas do Windows diretamente em qualquer desktop Linux. Essencialmente, o Wine está tentando reimplementar o suficiente do Windows do zero para que possa executar todos os aplicativos do Windows sem realmente precisar do Windows.
SCREENSHOTS
Ad
OmniParser
DESCRIÇÃO
OmniParser é um método abrangente para analisar capturas de tela da interface do usuário em elementos estruturados, aprimorando significativamente a capacidade de modelos multimodais como o GPT-4 de gerar ações precisamente baseadas em regiões correspondentes da interface. Ele identifica de forma confiável ícones interativos em interfaces do usuário e compreende a semântica de vários elementos em uma captura de tela, associando as ações pretendidas às regiões corretas da tela. Para isso, o OmniParser seleciona um conjunto de dados de detecção de ícones interativos contendo 67,000 imagens exclusivas de captura de tela rotuladas com caixas delimitadoras de ícones interativos derivados de árvores DOM. Além disso, uma coleção de 7,000 pares ícone-descrição é usada para ajustar um modelo de legenda que extrai a semântica funcional dos elementos detectados. Avaliações em benchmarks como SeeClick, Mind2Web e AITW demonstram que o OmniParser supera as linhas de base do GPT-4V, mesmo quando utiliza apenas entradas de captura de tela sem informações adicionais.
Recursos
- Analisar capturas de tela da interface do usuário em elementos estruturados e fáceis de entender
- Exemplos disponíveis
- Aumenta a capacidade do GPT-4V de gerar ações que podem ser aterradas com precisão nas regiões correspondentes da interface
- Certifique-se de ter os pesos V2 baixados na pasta de pesos
- Licença de Pesos Modelo
Linguagem de Programação
Python
Categorias
Este é um aplicativo que também pode ser obtido em https://sourceforge.net/projects/omniparser-microsoft.mirror/. Ele foi hospedado no OnWorks para ser executado online da maneira mais fácil em um de nossos sistemas operacionais gratuitos.
