Ini adalah aplikasi Linux bernama LiteLLM yang rilis terbarunya dapat diunduh sebagai v0.11.1sourcecode.zip. Itu dapat dijalankan secara online di penyedia hosting gratis OnWorks untuk workstation.
Unduh dan jalankan aplikasi ini secara online bernama LiteLLM dengan OnWorks secara gratis.
Ikuti petunjuk ini untuk menjalankan aplikasi ini:
- 1. Download aplikasi ini di PC Anda.
- 2. Masuk ke file manager kami https://www.onworks.net/myfiles.php?username=XXXXX dengan username yang anda inginkan.
- 3. Upload aplikasi ini di filemanager tersebut.
- 4. Jalankan emulator online OnWorks Linux atau Windows online atau emulator online MACOS dari situs web ini.
- 5. Dari OS Linux OnWorks yang baru saja Anda mulai, buka file manager kami https://www.onworks.net/myfiles.php?username=XXXXX dengan nama pengguna yang Anda inginkan.
- 6. Download aplikasinya, install dan jalankan.
Tangkapan layar
Ad
LiteLLM
DESKRIPSI
Panggil semua API LLM menggunakan format OpenAI [Anthropic, Huggingface, Cohere, Azure OpenAI, dll.] liteLLM mendukung streaming kembali respons model, teruskan stream=True untuk mendapatkan iterator streaming sebagai respons. Streaming didukung untuk model OpenAI, Azure, Anthropic, dan Huggingface.
Fitur
- Menerjemahkan masukan ke penyelesaian penyedia dan menyematkan titik akhir
- Menjamin keluaran yang konsisten, tanggapan teks akan selalu tersedia
- Pemetaan pengecualian
- Pengecualian umum di seluruh penyedia dipetakan ke jenis pengecualian OpenAI
- Klien LiteLLM - debugging & 1-klik tambahkan LLM baru
- liteLLM mendukung streaming kembali respons model
Bahasa Pemrograman
Ular sanca
Kategori
Ini adalah aplikasi yang juga dapat diambil dari https://sourceforge.net/projects/litellm.mirror/. Ini telah dihosting di OnWorks untuk dijalankan online dengan cara termudah dari salah satu Sistem Operasi gratis kami.
