This is the Linux app named LangDB AI Gateway whose latest release can be downloaded as Releasev1.0.0sourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.
Download and run online this app named LangDB AI Gateway with OnWorks for free.
Urmați aceste instrucțiuni pentru a rula această aplicație:
- 1. Ați descărcat această aplicație pe computer.
- 2. Introduceți în managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator pe care îl doriți.
- 3. Încărcați această aplicație într-un astfel de manager de fișiere.
- 4. Porniți emulatorul online OnWorks Linux sau Windows online sau emulatorul online MACOS de pe acest site web.
- 5. Din sistemul de operare OnWorks Linux pe care tocmai l-ați pornit, accesați managerul nostru de fișiere https://www.onworks.net/myfiles.php?username=XXXXX cu numele de utilizator dorit.
- 6. Descărcați aplicația, instalați-o și rulați-o.
SCREENSHOTS
Ad
LangDB AI Gateway
DESCRIERE
AI Gateway este un gateway API open-source de înaltă performanță, optimizat pentru gestionarea și monitorizarea traficului LLM la scară largă. Dezvoltat de echipa LangDB, AI Gateway acționează ca intermediar între clienți și LLM-urile backend, oferind funcții avansate precum caching, limitarea ratei, gestionarea prompturilor și observabilitate. Acesta ajută echipele să își securizeze și să își optimizeze implementările LLM, indiferent dacă utilizează modele locale sau API-uri externe precum OpenAI sau Anthropic. Cu suport nativ pentru medii multi-tenant și rutare prin inferență cu latență redusă, AI Gateway este un instrument esențial pentru companiile care construiesc servicii de inteligență artificială generativă la nivel de producție.
Categorii
- Gateway API adaptat pentru LLM și trafic generativ de inteligență artificială
- Acceptă memorarea în cache și deduplicarea promptă
- Limitarea ratei și controlul accesului pentru utilizarea cu mai mulți chiriași
- Funcționează cu OpenAI, Anthropic și modele locale
- Rutare cu latență și echilibrare a încărcării
- Metrici, înregistrare în jurnal și urmărire a solicitărilor încorporate
- Șabloane de prompturi configurabile și numărare de tokenuri
- Dockerizat și implementabil în medii Kubernetes
Limbaj de programare
Rugină
Categorii
Aceasta este o aplicație care poate fi descărcată și de la https://sourceforge.net/projects/langdb.mirror/. A fost găzduită în OnWorks pentru a putea fi rulată online în cel mai simplu mod de pe unul dintre sistemele noastre de operare gratuite.
