Este é o aplicativo para Windows chamado Tiktoken, cuja versão mais recente pode ser baixada como 0.11.0sourcecode.tar.gz. Ele pode ser executado online no provedor de hospedagem gratuita OnWorks para estações de trabalho.
Baixe e execute online este aplicativo chamado Tiktoken com OnWorks gratuitamente.
Siga estas instruções para executar este aplicativo:
- 1. Baixe este aplicativo em seu PC.
- 2. Entre em nosso gerenciador de arquivos https://www.onworks.net/myfiles.php?username=XXXXX com o nome de usuário que você deseja.
- 3. Carregue este aplicativo em tal gerenciador de arquivos.
- 4. Inicie qualquer emulador on-line OS OnWorks a partir deste site, mas um emulador on-line melhor do Windows.
- 5. No sistema operacional OnWorks Windows que você acabou de iniciar, acesse nosso gerenciador de arquivos https://www.onworks.net/myfiles.php?username=XXXXX com o nome de usuário que deseja.
- 6. Baixe o aplicativo e instale-o.
- 7. Baixe o Wine de seus repositórios de software de distribuição Linux. Depois de instalado, você pode clicar duas vezes no aplicativo para executá-lo com o Wine. Você também pode experimentar o PlayOnLinux, uma interface sofisticada do Wine que o ajudará a instalar programas e jogos populares do Windows.
Wine é uma forma de executar software Windows no Linux, mas sem a necessidade de Windows. Wine é uma camada de compatibilidade do Windows de código aberto que pode executar programas do Windows diretamente em qualquer desktop Linux. Essencialmente, o Wine está tentando reimplementar o suficiente do Windows do zero para que possa executar todos os aplicativos do Windows sem realmente precisar do Windows.
SCREENSHOTS
Ad
tiktok
DESCRIÇÃO
tiktoken é uma biblioteca tokenizadora de alto desempenho (baseada em codificação de pares de bytes, BPE) projetada para uso com os modelos da OpenAI. Ela lida com a codificação e decodificação de texto para IDs de token de forma eficiente, com sobrecarga mínima. Como a tokenização é uma etapa fundamental na preparação de texto para modelos, o tiktoken é otimizado para velocidade, memória e correção em contextos de modelo (por exemplo, correspondendo à tokenização interna da OpenAI). O repositório suporta múltiplas codificações (por exemplo, "cl100k_base") e permite que os usuários alternem os nomes das codificações para corresponder a diferentes contextos de modelo. Ele também oferece mecanismos de extensão para que codificações personalizadas possam ser registradas. Internamente, inclui a lógica principal do tokenizador (frequentemente implementada em Rust ou código eficiente de nível inferior), APIs para codificação, decodificação e contagem de tokens e camadas de vinculação ao Python (e às vezes a outras linguagens) para facilitar o uso.
Recursos
- Tokenizador rápido baseado em BPE para conversão de texto ↔ ID de token
- Suporte para múltiplos esquemas de codificação (por exemplo, “cl100k_base”)
- APIs para codificar, decodificar e contar tokens de forma eficiente para controle rápido de comprimento
- Mecanismo de extensão/plugin para registrar codificações personalizadas
- Ligações de linguagem (Python / Rust / etc.) para integração em diferentes ambientes
- Usado para estimativa de custos, lógica de truncamento e alinhamento com as expectativas do modelo OpenAI
Linguagem de Programação
Python
Categorias
Este é um aplicativo que também pode ser obtido em https://sourceforge.net/projects/tiktoken.mirror/. Ele foi hospedado no OnWorks para ser executado online da maneira mais fácil em um de nossos sistemas operacionais gratuitos.
