Ito ang Linux app na pinangalanang LLM Gateway na ang pinakabagong release ay maaaring ma-download bilang v1.1.0sourcecode.tar.gz. Maaari itong patakbuhin online sa libreng hosting provider na OnWorks para sa mga workstation.
I-download at patakbuhin online ang app na ito na pinangalanang LLM Gateway na may OnWorks nang libre.
Sundin ang mga tagubiling ito upang patakbuhin ang app na ito:
- 1. Na-download ang application na ito sa iyong PC.
- 2. Ipasok sa aming file manager https://www.onworks.net/myfiles.php?username=XXXXX kasama ang username na gusto mo.
- 3. I-upload ang application na ito sa naturang filemanager.
- 4. Simulan ang OnWorks Linux online o Windows online emulator o MACOS online emulator mula sa website na ito.
- 5. Mula sa OnWorks Linux OS na kasisimula mo pa lang, pumunta sa aming file manager https://www.onworks.net/myfiles.php?username=XXXX gamit ang username na gusto mo.
- 6. I-download ang application, i-install ito at patakbuhin ito.
MGA LALAKI
Ad
LLM Gateway
DESCRIPTION
Ang LLM Gateway ay isang open-source middleware na pinagsasama-sama ang mga pakikipag-ugnayan sa maraming LLM provider—gaya ng OpenAI, Anthropic, Google Vertex AI—sa likod ng iisang, pinag-isang API na tugma sa spec ng OpenAI. Dinisenyo para sa parehong self-host at cloud na paggamit, binibigyang-daan nito ang mga developer na dynamic na iruta ang mga kahilingan, secure at pamahalaan ang mga API key, subaybayan ang paggamit at gastos ng token, at suriin ang mga sukatan ng performance. Gamit ang opsyonal na UI, telemetry, at Docker deployment, mainam ito para sa mga team na naglalayong isentralisa ang LLM orchestration at magkaroon ng visibility sa paggamit ng AI.
Mga tampok
- Pinag-isang OpenAI-style API para sa suporta ng multi-provider
- Dynamic na pagruruta ng mga kahilingan sa mga napiling serbisyo ng LLM
- Sentralisadong API key management at imbakan ng kredensyal
- Detalyadong analytics sa paggamit, mga token, latency, at mga gastos
- Paghahambing ng pagganap sa mga modelo at provider
- Madaling pag-deploy sa pamamagitan ng Docker (single o compose setup)
Wika ng Programming
TypeScript
Kategorya
Ito ay isang application na maaari ding makuha mula sa https://sourceforge.net/projects/llm-gateway.mirror/. Na-host ito sa OnWorks upang mapatakbo online sa pinakamadaling paraan mula sa isa sa aming mga libreng Operative System.
