นี่คือแอป Windows ชื่อ OmniParser ซึ่งสามารถดาวน์โหลดเวอร์ชันล่าสุดได้ที่ v.2.0.1sourcecode.zip สามารถรันออนไลน์ได้ใน OnWorks ซึ่งเป็นผู้ให้บริการโฮสติ้งฟรีสำหรับเวิร์กสเตชัน
ดาวน์โหลดและรันแอปชื่อ OmniParser พร้อม OnWorks ออนไลน์ได้ฟรี
ทำตามคำแนะนำเหล่านี้เพื่อเรียกใช้แอปนี้:
- 1. ดาวน์โหลดแอปพลิเคชั่นนี้ในพีซีของคุณ
- 2. เข้าไปที่ file manager https://www.onworks.net/myfiles.php?username=XXXXX ด้วยชื่อผู้ใช้ที่คุณต้องการ
- 3. อัปโหลดแอปพลิเคชันนี้ในตัวจัดการไฟล์ดังกล่าว
- 4. เริ่มโปรแกรมจำลองออนไลน์ของ OS OnWorks จากเว็บไซต์นี้ แต่โปรแกรมจำลองออนไลน์ของ Windows ที่ดีกว่า
- 5. จากระบบปฏิบัติการ Windows ของ OnWorks ที่คุณเพิ่งเริ่มต้น ไปที่ตัวจัดการไฟล์ของเรา https://www.onworks.net/myfiles.php?username=XXXXX พร้อมชื่อผู้ใช้ที่คุณต้องการ
- 6. ดาวน์โหลดแอปพลิเคชั่นและติดตั้ง
- 7. ดาวน์โหลดไวน์จากที่เก็บซอฟต์แวร์ลีนุกซ์ดิสทริบิวชันของคุณ เมื่อติดตั้งแล้ว คุณสามารถดับเบิลคลิกที่แอปเพื่อเรียกใช้แอปด้วย Wine คุณยังสามารถลองใช้ PlayOnLinux ซึ่งเป็นอินเทอร์เฟซแฟนซีบน Wine ที่จะช่วยคุณติดตั้งโปรแกรมและเกมยอดนิยมของ Windows
ไวน์เป็นวิธีเรียกใช้ซอฟต์แวร์ Windows บน Linux แต่ไม่จำเป็นต้องใช้ Windows Wine เป็นเลเยอร์ความเข้ากันได้ของ Windows แบบโอเพ่นซอร์สที่สามารถเรียกใช้โปรแกรม Windows ได้โดยตรงบนเดสก์ท็อป Linux โดยพื้นฐานแล้ว Wine พยายามนำ Windows กลับมาใช้ใหม่ให้เพียงพอตั้งแต่เริ่มต้น เพื่อให้สามารถเรียกใช้แอปพลิเคชัน Windows เหล่านั้นทั้งหมดโดยไม่จำเป็นต้องใช้ Windows จริงๆ
ภาพหน้าจอ
Ad
ออมนิพาร์เซอร์
DESCRIPTION
OmniParser เป็นวิธีการที่ครอบคลุมสำหรับการแยกวิเคราะห์ภาพหน้าจอส่วนติดต่อผู้ใช้ออกเป็นองค์ประกอบที่มีโครงสร้าง ซึ่งช่วยเพิ่มความสามารถของโมเดลหลายโหมดอย่าง GPT-4 ในการสร้างแอคชันที่สอดคล้องกับขอบเขตของอินเทอร์เฟซได้อย่างแม่นยำ OmniParser สามารถระบุไอคอนที่โต้ตอบได้ภายในส่วนติดต่อผู้ใช้ได้อย่างน่าเชื่อถือ และเข้าใจความหมายขององค์ประกอบต่างๆ ในภาพหน้าจอ โดยเชื่อมโยงแอคชันที่ต้องการกับขอบเขตของหน้าจอที่ถูกต้อง เพื่อให้บรรลุสิ่งนี้ OmniParser ได้รวบรวมชุดข้อมูลการตรวจจับไอคอนที่โต้ตอบได้ ซึ่งประกอบด้วยภาพหน้าจอที่ไม่ซ้ำกัน 67,000 ภาพ พร้อมป้ายกำกับด้วยกรอบล้อมรอบของไอคอนที่โต้ตอบได้ ซึ่งได้มาจากต้นไม้ DOM นอกจากนี้ ยังมีการใช้ชุดคู่คำอธิบายไอคอน 7,000 คู่ เพื่อปรับแต่งโมเดลคำบรรยายภาพที่ดึงความหมายเชิงฟังก์ชันขององค์ประกอบที่ตรวจพบ การประเมินเกณฑ์มาตรฐาน เช่น SeeClick, Mind2Web และ AITW แสดงให้เห็นว่า OmniParser มีประสิทธิภาพเหนือกว่าค่ามาตรฐาน GPT-4V แม้ว่าจะใช้เฉพาะอินพุตภาพหน้าจอที่ไม่มีข้อมูลเพิ่มเติมก็ตาม
คุณสมบัติ
- วิเคราะห์ภาพหน้าจออินเทอร์เฟซผู้ใช้เป็นองค์ประกอบที่มีโครงสร้างและเข้าใจง่าย
- ตัวอย่างที่มีอยู่
- เพิ่มความสามารถของ GPT-4V ในการสร้างการกระทำที่สามารถต่อลงดินได้อย่างแม่นยำในบริเวณที่สอดคล้องกันของอินเทอร์เฟซ
- ตรวจสอบให้แน่ใจว่าคุณได้ดาวน์โหลดน้ำหนัก V2 ไว้ในโฟลเดอร์น้ำหนักแล้ว
- ใบอนุญาตน้ำหนักรุ่น
ภาษาโปรแกรม
หลาม
หมวดหมู่
นี่คือแอปพลิเคชันที่สามารถดึงข้อมูลจาก https://sourceforge.net/projects/omniparser-microsoft.mirror/ ได้ แอปพลิเคชันนี้โฮสต์อยู่ใน OnWorks เพื่อให้ใช้งานออนไลน์ได้ง่ายที่สุดจากระบบปฏิบัติการฟรีของเรา
