นี่คือแอป Linux ชื่อ FastChat ซึ่งสามารถดาวน์โหลดรุ่นล่าสุดได้ในชื่อ Releasev0.2.30.zip สามารถเรียกใช้ออนไลน์ได้ใน OnWorks ผู้ให้บริการโฮสต์ฟรีสำหรับเวิร์กสเตชัน
ดาวน์โหลดและเรียกใช้แอปนี้ออนไลน์ชื่อ FastChat พร้อม OnWorks ฟรี
ทำตามคำแนะนำเหล่านี้เพื่อเรียกใช้แอปนี้:
- 1. ดาวน์โหลดแอปพลิเคชั่นนี้ในพีซีของคุณ
- 2. เข้าไปที่ file manager https://www.onworks.net/myfiles.php?username=XXXXX ด้วยชื่อผู้ใช้ที่คุณต้องการ
- 3. อัปโหลดแอปพลิเคชันนี้ในตัวจัดการไฟล์ดังกล่าว
- 4. เริ่มโปรแกรมจำลองออนไลน์ของ OnWorks Linux หรือ Windows ออนไลน์ หรือโปรแกรมจำลองออนไลน์ MACOS จากเว็บไซต์นี้
- 5. จาก OnWorks Linux OS คุณเพิ่งเริ่มต้น ไปที่ตัวจัดการไฟล์ของเรา https://www.onworks.net/myfiles.php?username=XXXXX พร้อมชื่อผู้ใช้ที่คุณต้องการ
- 6. ดาวน์โหลดแอปพลิเคชั่น ติดตั้ง และเรียกใช้
ภาพหน้าจอ:
แชทด่วน
รายละเอียด:
FastChat เป็นแพลตฟอร์มแบบเปิดสำหรับการฝึกอบรม ให้บริการ และประเมินแชทบอทที่ใช้โมเดลภาษาขนาดใหญ่ หากคุณมีหน่วยความจำไม่เพียงพอ คุณสามารถเปิดใช้งานการบีบอัด 8 บิตได้โดยเพิ่ม --load-8bit ในคำสั่งด้านบน สิ่งนี้สามารถลดการใช้หน่วยความจำลงได้ประมาณครึ่งหนึ่งด้วยคุณภาพของโมเดลที่ลดลงเล็กน้อย เข้ากันได้กับ CPU, GPU และแบ็กเอนด์โลหะ Vicuna-13B พร้อมการบีบอัด 8 บิตสามารถทำงานบน GPU NVIDIA 3090/4080/T4/V100(16GB) ตัวเดียว นอกจากนั้น คุณสามารถเพิ่ม --cpu-offloading ในคำสั่งด้านบนเพื่อถ่ายน้ำหนักที่ไม่พอดีกับ GPU ของคุณไปยังหน่วยความจำ CPU สิ่งนี้จำเป็นต้องเปิดใช้การบีบอัด 8 บิตและติดตั้งแพ็คเกจ bitsandbytes ซึ่งมีให้ใช้งานบนระบบปฏิบัติการ linux เท่านั้น
คุณสมบัติ
- น้ำหนัก รหัสการฝึก และรหัสการประเมินสำหรับโมเดลที่ทันสมัย
- ระบบให้บริการหลายโมเดลแบบกระจายพร้อม Web UI และ RESTful API ที่เข้ากันได้กับ OpenAI
- สำหรับการฝึกอบรม ให้บริการ และประเมินโมเดลภาษาขนาดใหญ่
- ลดความต้องการ CPU RAM ในการแปลงน้ำหนัก
- การอนุมานด้วยอินเตอร์เฟสบรรทัดคำสั่ง
- หลายรุ่นที่รองรับ
ภาษาโปรแกรม
หลาม
หมวดหมู่
นี่เป็นแอปพลิเคชันที่สามารถเรียกได้จาก https://sourceforge.net/projects/fastchat.mirror/ มีการโฮสต์ใน OnWorks เพื่อให้ทำงานออนไลน์ด้วยวิธีที่ง่ายที่สุดจากหนึ่งในระบบปฏิบัติการฟรีของเรา