นี่คือแอป Linux ชื่อ SGLang ซึ่งสามารถดาวน์โหลดเวอร์ชันล่าสุดได้ที่ Releasev0.5.2sourcecode.tar.gz สามารถรันแอปนี้ทางออนไลน์ในผู้ให้บริการโฮสติ้งฟรี OnWorks สำหรับเวิร์กสเตชัน
ดาวน์โหลดและรันแอปออนไลน์ชื่อ SGLang พร้อม OnWorks ได้ฟรี
ทำตามคำแนะนำเหล่านี้เพื่อเรียกใช้แอปนี้:
- 1. ดาวน์โหลดแอปพลิเคชั่นนี้ในพีซีของคุณ
- 2. เข้าไปที่ file manager https://www.onworks.net/myfiles.php?username=XXXXX ด้วยชื่อผู้ใช้ที่คุณต้องการ
- 3. อัปโหลดแอปพลิเคชันนี้ในตัวจัดการไฟล์ดังกล่าว
- 4. เริ่มโปรแกรมจำลองออนไลน์ของ OnWorks Linux หรือ Windows ออนไลน์ หรือโปรแกรมจำลองออนไลน์ MACOS จากเว็บไซต์นี้
- 5. จาก OnWorks Linux OS คุณเพิ่งเริ่มต้น ไปที่ตัวจัดการไฟล์ของเรา https://www.onworks.net/myfiles.php?username=XXXXX พร้อมชื่อผู้ใช้ที่คุณต้องการ
- 6. ดาวน์โหลดแอปพลิเคชั่น ติดตั้ง และเรียกใช้
ภาพหน้าจอ
Ad
เอสจีแลง
DESCRIPTION
SGLang เป็นกรอบงานที่ให้บริการรวดเร็วสำหรับโมเดลภาษาขนาดใหญ่และโมเดลภาษาวิสัยทัศน์ ทำให้การโต้ตอบกับโมเดลของคุณเร็วขึ้นและควบคุมได้มากขึ้นโดยการออกแบบรันไทม์แบ็กเอนด์และภาษาฟรอนต์เอนด์ร่วมกัน
คุณสมบัติ
- มอบการให้บริการที่มีประสิทธิภาพด้วย RadixAttention สำหรับการแคชคำนำหน้า การถอดรหัสที่จำกัดการกระโดดไปข้างหน้า ตัวกำหนดตาราง CPU ที่ไม่มีโอเวอร์เฮด การแบ่งชุดอย่างต่อเนื่อง การใส่ใจโทเค็น (การใส่ใจแบบแบ่งหน้า) การประมวลผลคู่ขนานของเทนเซอร์ เคอร์เนล FlashInfer การเติมล่วงหน้าแบบแยกส่วน และการควอนไทซ์ (FP8/INT4/AWQ/GPTQ)
- นำเสนออินเทอร์เฟซที่ใช้งานง่ายสำหรับการเขียนโปรแกรมแอปพลิเคชัน LLM รวมถึงการเรียกสร้างแบบต่อเนื่อง การแจ้งเตือนขั้นสูง การควบคุมการไหล อินพุตหลายโหมด การประมวลผลแบบคู่ขนาน และการโต้ตอบภายนอก
- รองรับโมเดลเชิงสร้างสรรค์ที่หลากหลาย (Llama, Gemma, Mistral, QWen, DeepSeek, LLaVA ฯลฯ) โมเดลการฝัง (e5-mistral, gte) และโมเดลรางวัล (Skywork) พร้อมความสามารถในการขยายที่ง่ายดายเพื่อการรวมโมเดลใหม่
- SGLang เป็นโอเพ่นซอร์สและได้รับการสนับสนุนจากชุมชนที่มีการใช้งานจริงในอุตสาหกรรม
- เอกสารที่มีอยู่
ภาษาโปรแกรม
หลาม
หมวดหมู่
นี่คือแอปพลิเคชันที่สามารถดึงข้อมูลจาก https://sourceforge.net/projects/sglang.mirror/ ได้ แอปพลิเคชันนี้โฮสต์อยู่ใน OnWorks เพื่อให้เรียกใช้ทางออนไลน์ได้ง่ายที่สุดจากระบบปฏิบัติการฟรีของเรา
