Questa è l'app Linux chiamata OpenLIT, la cui ultima versione può essere scaricata come py-1.35.9sourcecode.tar.gz. Può essere eseguita online sul provider di hosting gratuito OnWorks per workstation.
Scarica ed esegui online gratuitamente questa app denominata OpenLIT con OnWorks.
Segui queste istruzioni per eseguire questa app:
- 1. Scaricata questa applicazione sul tuo PC.
- 2. Entra nel nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 3. Carica questa applicazione in tale file manager.
- 4. Avviare l'emulatore online OnWorks Linux o Windows online o l'emulatore online MACOS da questo sito Web.
- 5. Dal sistema operativo OnWorks Linux che hai appena avviato, vai al nostro file manager https://www.onworks.net/myfiles.php?username=XXXXX con il nome utente che desideri.
- 6. Scarica l'applicazione, installala ed eseguila.
IMMAGINI
Ad
OpenLIT
DESCRIZIONE
OpenLIT è uno strumento nativo di OpenTelemetry progettato per aiutare gli sviluppatori a ottenere informazioni dettagliate sulle prestazioni delle loro applicazioni LLM in produzione. Raccoglie automaticamente i metadati di input e output LLM e monitora le prestazioni della GPU per gli LLM self-hosted. OpenLIT semplifica l'integrazione dell'osservabilità nei progetti GenAI con una sola riga di codice. Che tu stia lavorando con provider LLM popolari come OpenAI e HuggingFace, o sfruttando database vettoriali come ChromaDB, OpenLIT garantisce un monitoraggio impeccabile delle tue applicazioni, fornendo informazioni cruciali, tra cui statistiche sulle prestazioni della GPU per gli LLM self-hosted, per migliorare prestazioni e affidabilità. Questo progetto segue con orgoglio le Convenzioni Semantiche della community di OpenTelemetry, aggiornandosi costantemente per allinearsi ai più recenti standard di osservabilità.
Caratteristiche
- Monitoraggio avanzato delle prestazioni di LLM e VectorDB
- Monitoraggio dei costi per modelli personalizzati e perfezionati
- Monitoraggio dei costi per modelli personalizzati e perfezionati
- Documentazione disponibile
- SDK nativi di OpenTelemetry e indipendenti dal fornitore
- Esempi disponibili
- OpenLIT consente di personalizzare il monitoraggio dei costi per modelli specifici
- OpenLIT è realizzato con supporto nativo per OpenTelemetry
Linguaggio di programmazione
Python
Categorie
Questa applicazione può essere scaricata anche da https://sourceforge.net/projects/openlit.mirror/. È ospitata su OnWorks per poter essere eseguita online nel modo più semplice da uno dei nostri sistemi operativi gratuiti.
