This is the Windows app named Triton Inference Server whose latest release can be downloaded as Release2.59.0correspondingtoNGCcontainer25.06sourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
Scarica ed esegui online gratuitamente questa app denominata Triton Inference Server con OnWorks.
Segui queste istruzioni per eseguire questa app:
- 1. Scaricata questa applicazione sul tuo PC.
- 2. Entra nel nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 3. Carica questa applicazione in tale file manager.
- 4. Avvia qualsiasi emulatore online OS OnWorks da questo sito Web, ma migliore emulatore online Windows.
- 5. Dal sistema operativo OnWorks Windows che hai appena avviato, vai al nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 6. Scarica l'applicazione e installala.
- 7. Scarica Wine dai repository software delle tue distribuzioni Linux. Una volta installato, puoi quindi fare doppio clic sull'app per eseguirli con Wine. Puoi anche provare PlayOnLinux, un'interfaccia fantasiosa su Wine che ti aiuterà a installare programmi e giochi Windows popolari.
Wine è un modo per eseguire il software Windows su Linux, ma senza Windows richiesto. Wine è un livello di compatibilità Windows open source in grado di eseguire programmi Windows direttamente su qualsiasi desktop Linux. Essenzialmente, Wine sta cercando di re-implementare abbastanza Windows da zero in modo che possa eseguire tutte quelle applicazioni Windows senza effettivamente bisogno di Windows.
IMMAGINI
Ad
Server di inferenza Triton
DESCRIZIONE
Triton Inference Server è un software di servizio di inferenza open source che semplifica l'inferenza dell'IA. Triton consente ai team di implementare qualsiasi modello di intelligenza artificiale da più framework di deep learning e machine learning, inclusi TensorRT, TensorFlow, PyTorch, ONNX, OpenVINO, Python, RAPIDS FIL e altri. Triton supporta l'inferenza su cloud, data center, edge e dispositivi embedded su GPU NVIDIA, x86 e CPU ARM o AWS Inferentia. Triton offre prestazioni ottimizzate per molti tipi di query, inclusi streaming in tempo reale, batch, ensemble e audio/video. Fornisce un'API di back-end che consente di aggiungere back-end personalizzati e operazioni di pre/post-elaborazione. Modella pipeline utilizzando Ensembling o Business Logic Scripting (BLS). Protocolli di inferenza HTTP/REST e GRPC basati sul protocollo KServer sviluppato dalla comunità. L'API AC e l'API Java consentono a Triton di collegarsi direttamente all'applicazione per edge e altri casi d'uso in-process.
Caratteristiche
- Supporta più framework di deep learning
- Supporta più framework di apprendimento automatico
- Esecuzione simultanea del modello
- Dosaggio dinamico
- Sequence batching e gestione dello stato implicito per modelli con stato
- Fornisce l'API di backend che consente di aggiungere backend personalizzati e operazioni di pre/post elaborazione
Linguaggio di programmazione
Python
Categorie
Questa è un'applicazione che può essere scaricata anche da https://sourceforge.net/projects/triton-inference-server.mirror/. È stato ospitato in OnWorks per essere eseguito online nel modo più semplice da uno dei nostri Sistemi Operativi gratuiti.
