Ini adalah aplikasi Linux bernama Infinity yang rilis terbarunya dapat diunduh sebagai 0.0.77sourcecode.tar.gz. Aplikasi ini dapat dijalankan secara daring di penyedia hosting gratis OnWorks untuk workstation.
Unduh dan jalankan aplikasi bernama Infinity ini secara online dengan OnWorks secara gratis.
Ikuti petunjuk ini untuk menjalankan aplikasi ini:
- 1. Download aplikasi ini di PC Anda.
- 2. Masuk ke file manager kami https://www.onworks.net/myfiles.php?username=XXXXX dengan username yang anda inginkan.
- 3. Upload aplikasi ini di filemanager tersebut.
- 4. Jalankan emulator online OnWorks Linux atau Windows online atau emulator online MACOS dari situs web ini.
- 5. Dari OS Linux OnWorks yang baru saja Anda mulai, buka file manager kami https://www.onworks.net/myfiles.php?username=XXXXX dengan nama pengguna yang Anda inginkan.
- 6. Download aplikasinya, install dan jalankan.
Tangkapan layar
Ad
Angka tak terbatas
DESKRIPSI
Infinity adalah REST API berthroughput tinggi dan latensi rendah untuk menyajikan embedding vektor, yang mendukung semua model dan kerangka kerja pengubah kalimat. Infinity dikembangkan di bawah Lisensi MIT. Infinity mendukung inferensi di balik Gradient.ai dan penyedia Embedding API lainnya.
Fitur
- Terapkan model apa pun dari MTEB: terapkan model yang Anda ketahui dari SentenceTransformers
- Backend inferensi cepat: Server inferensi dibangun di atas torch, optimum (onnx/tensorrt) dan CTranslate2, menggunakan FlashAttention untuk mendapatkan hasil maksimal dari perangkat CUDA, ROCM, CPU atau MPS
- Batch dinamis: Permintaan embedding baru akan diantrekan saat GPU sedang sibuk dengan permintaan sebelumnya. Permintaan baru akan dimasukkan ke perangkat Anda segera setelah siap. Throughput maksimum pada GPU serupa dengan text-embeddings-inference.
- Implementasi yang benar dan teruji: Unit dan ujung ke ujung teruji. Embedding hingga tak terhingga identik dengan SentenceTransformers (hingga presisi numerik). Memungkinkan pengguna API membuat embedding hingga tak terhingga dan seterusnya.
- Dokumentasi tersedia
- Mudah digunakan: API ini dibangun di atas FastAPI, Swagger membuatnya terdokumentasi sepenuhnya. API ini selaras dengan spesifikasi Embedding OpenAI. Lihat di bawah untuk cara memulai.
Bahasa Pemrograman
Ular sanca
KATEGORI
Ini adalah aplikasi yang juga dapat diunduh dari https://sourceforge.net/projects/infinity.mirror/. Aplikasi ini dihosting di OnWorks agar dapat dijalankan secara daring dengan cara termudah dari salah satu Sistem Operasi gratis kami.
