นี่คือคำสั่ง AutoSearchp ที่สามารถเรียกใช้ในผู้ให้บริการโฮสติ้งฟรีของ OnWorks โดยใช้หนึ่งในเวิร์กสเตชันออนไลน์ฟรีของเรา เช่น Ubuntu Online, Fedora Online, โปรแกรมจำลองออนไลน์ของ Windows หรือโปรแกรมจำลองออนไลน์ของ MAC OS
โครงการ:
ชื่อ
AutoSearch - แอปพลิเคชันติดตามการค้นเว็บ
เรื่องย่อ
AutoSearch [--stats] [--verbose] -n "Query Name" -s "query string" --engine engine [--mail
[ป้องกันอีเมล]] [--options "opt=val"]... [--filter "filter"] [--host host] [--พอร์ตพอร์ต]
[--userid bbunny --รหัสผ่าน c4rr0t5] [--ignore_channels KABC,KCBS,KNBC] qid
ค้นหาอัตโนมัติ --VERSION ค้นหาอัตโนมัติ --ช่วยค้นหาอัตโนมัติ --man
DESCRIPTION
ค้นหาอัตโนมัติ ทำการค้นหาบนเว็บและตั้งค่าผลลัพธ์ใน qid/index.html.
การค้นหาที่ตามมา (เช่น รูปแบบที่สองด้านบน) ค้นหาอัตโนมัติ กำหนดสิ่งที่เปลี่ยนแปลง (ถ้า
ใดๆ) เกิดขึ้นกับผลลัพธ์ที่ส่งตั้งแต่การรันครั้งล่าสุด การเปลี่ยนแปลงที่เพิ่มขึ้นเหล่านี้คือ
บันทึกไว้ใน qid/YYYYMMDD.html.
ค้นหาอัตโนมัติ คล้อยตามที่จะเรียกใช้เป็น cron งานเพราะพารามิเตอร์อินพุตทั้งหมดจะถูกบันทึกไว้
ในหน้าเว็บ ค้นหาอัตโนมัติ สามารถทำหน้าที่เป็นตัวแทนการสืบค้นอัตโนมัติสำหรับการค้นหาเฉพาะ
ไฟล์ที่ส่งออกได้รับการออกแบบให้เป็นชุดของหน้าเว็บเพื่อแสดงชุดผลลัพธ์ได้อย่างง่ายดาย
ด้วยเว็บเบราว์เซอร์
ตัวอย่าง:
ค้นหาอัตโนมัติ -n 'การจำลองแบบ LSAM'
-s '"การจำลองแบบ lsam"'
-e อัลตาวิสต้า
replication_query
แบบสอบถามนี้ (ซึ่งควรอยู่ในบรรทัดเดียว) จะสร้างไดเร็กทอรี replication_query และ
เติมด้วยผลลัพธ์ที่น่าสนใจของแบบสอบถาม AltaVista ใน "การจำลองแบบ lsam" ด้วย
หน้าที่ชื่อ ``การจำลองแบบ LSAM'' (สังเกตคำพูด: เครื่องหมายคำพูดเดียวใน '"lsam
การจำลองแบบ"' มีไว้สำหรับเชลล์, เครื่องหมายคำพูดคู่สำหรับ AltaVista เพื่อค้นหา
วลีมากกว่าคำที่แยกจากกัน)
ตัวอย่างที่ซับซ้อนมากขึ้น:
ค้นหาอัตโนมัติ -n 'ลิงก์ภายนอกไปยัง LSAM'
-s '(ลิงค์:www.isi.edu/lsam หรือลิงค์:www.isi.edu/~lsam) -url:isi.edu'
-e AltaVista::เว็บขั้นสูง
-o ความเย็น = ร้อน
ข้อความค้นหานี้ทำการค้นหาขั้นสูงของ AltaVista และระบุ (สมมุติ) ``ความเย็น''
ตัวเลือกสำหรับเครื่องมือค้นหา
OPTIONS
"กิด"
การขอ การสอบถาม ตัวระบุ ระบุไดเร็กทอรีที่ไฟล์ทั้งหมดที่เกี่ยวข้องกับ this
ข้อความค้นหาและผลการค้นหาจะใช้งานได้ อาจเป็นเส้นทางสัมบูรณ์หรือเส้นทางสัมพัทธ์
จาก cwd หากไม่มีไดเร็กทอรี ไดเร็กทอรีจะถูกสร้างขึ้นและค้นหาใหม่
เริ่มต้น
"--สถิติ"
แสดงสถิติการค้นหา: สตริงข้อความค้นหา จำนวน Hit จำนวน Hit ที่กรอง
สตริงตัวกรอง จำนวน Hit ที่ถูกระงับ (ถูกลบ) ขนาดชุดก่อนหน้า ชุดปัจจุบัน
ขนาด ฯลฯ
"-v" หรือ "--verbose"
Verbose: ส่งข้อความและคำเตือนเพิ่มเติม
"-n" หรือ "--qn" หรือ "--queryname"
ระบุชื่อแบบสอบถาม ชื่อแบบสอบถามถูกใช้เป็นส่วนหัวในหน้าเว็บ
ดังนั้นจึงควรเป็นสตริงข้อความค้นหาเวอร์ชันที่ 'ดูดี'
"-s" หรือ "--qs" หรือ "--querystring"
ระบุสตริงการสืบค้น สตริงแบบสอบถามเป็นสตริงอักขระที่จะ
ส่งไปยังเครื่องมือค้นหา คุณอาจใส่อักขระพิเศษเพื่อจัดกลุ่มหรือเพื่อ
มีคุณสมบัติในการค้นหา
"-e" หรือ "--เครื่องยนต์"
ระบุเครื่องมือค้นหา สตริงการสืบค้นจะถูกส่งไปยังผู้ใช้ที่ระบุ
เครื่องมือค้นหา.
ในหลายกรณีมีเสิร์ชเอ็นจิ้นเฉพาะรุ่น ตัวอย่างเช่น,
AltaVista::เว็บขั้นสูง และ AltaVista::ข่าว ให้การค้นหาที่มีประสิทธิภาพและ Usenet มากขึ้น
ดู AltaVista หรือหน้า man สำหรับเครื่องมือค้นหาของคุณสำหรับรายละเอียดเกี่ยวกับผู้เชี่ยวชาญ
รูปแบบ
"--listnewurls"
นอกเหนือจากการบำรุงรักษาไฟล์ตามปกติแล้ว ให้พิมพ์ URL ใหม่ทั้งหมดไปที่ STDOUT หนึ่งครั้งต่อ
เส้น
"-o" หรือ "--ตัวเลือก"
ระบุตัวเลือกแบบสอบถาม ตัวเลือกแบบสอบถามจะถูกส่งไปยังการค้นหาผู้ใช้
เครื่องยนต์ที่มีสตริงการสืบค้น คุณลักษณะนี้อนุญาตให้แก้ไขสตริงการสืบค้น
สำหรับเครื่องมือค้นหาหรือตัวเลือกเฉพาะ สามารถระบุตัวเลือกการสืบค้นได้มากกว่าหนึ่งตัวเลือก
ตัวอย่าง: "-o what=news" ทำให้ AltaVista ค้นหา Usenet แม้ว่าจะใช้งานได้ แต่
กลไกที่ต้องการในกรณีนี้คือ "-e AltaVista::News" หรือ "-e
AltaVista::AdvancedNews" ตัวเลือกมีไว้สำหรับการใช้งานภายในหรือโดยผู้เชี่ยวชาญ
"-f" หรือ "--uf" หรือ "--urlfilter"
ตัวเลือกนี้ระบุนิพจน์ทั่วไปที่จะเปรียบเทียบกับ URL ของ
ผลลัพธ์ใด ๆ หากตรงกับนิพจน์ทั่วไปที่ไม่คำนึงถึงตัวพิมพ์เล็กและใหญ่ จะเป็น
ออกจากชุดตี
ตัวอย่าง: "-f '.*\.isi\.edu'" หลีกเลี่ยงหน้าเว็บทั้งหมดของ ISI
"--ทำความสะอาดฉัน"
ลบร่องรอยของผลลัพธ์การค้นหาทั้งหมดจากวันที่แล้ว ถ้า --cleanup ได้รับ
ตัวเลือกอื่นๆ ทั้งหมดยกเว้น qid จะถูกละเว้น
"--cmdline"
สร้างบรรทัดคำสั่งใหม่ทั้งหมด (ค้นหาอัตโนมัติและอาร์กิวเมนต์ทั้งหมด) ที่ใช้
เพื่อสร้างผลลัพธ์การสืบค้น บรรทัดคำสั่งจะแสดงบน STDERR ถ้า --cmdline คือ
ที่กำหนด ตัวเลือกอื่น ๆ ทั้งหมดนอกเหนือจาก qid จะถูกละเว้น
"--mail user@address" หรือ "-m user@address"
หลังจากการค้นหาเสร็จสิ้น ให้ส่งอีเมลถึงผู้ใช้รายนั้นโดยระบุผลลัพธ์ใหม่ อีเมลคือ
รูปแบบ HTML ต้องใช้ Email::Send และโมดูลที่เกี่ยวข้อง หากคุณส่งอีเมลผ่าน
เซิร์ฟเวอร์ SMTP คุณต้องตั้งค่าตัวแปรสภาพแวดล้อม SMTPSERVER เป็นชื่อเซิร์ฟเวอร์หรือ IP . ของคุณ
ที่อยู่. หากเซิร์ฟเวอร์ SMTP ของคุณต้องใช้รหัสผ่าน คุณต้องตั้งค่าตัวแปรสภาพแวดล้อม
SMTPUSERNAME และ SMTPPASSWORD หากคุณส่งอีเมลผ่าน sendmail คุณควรตั้งค่า
ตัวแปรสภาพแวดล้อม SENDMAIL หากไฟล์เรียกทำงานของ sendmail ไม่อยู่ในพาธ
"--อีเมลจากผู้ใช้@ที่อยู่"
หากเซิร์ฟเวอร์เมลขาออกของคุณปฏิเสธอีเมลจากผู้ใช้บางราย คุณสามารถใช้สิ่งนี้
อาร์กิวเมนต์เพื่อตั้งค่าส่วนหัวจาก:
"--userid bbunny"
หากเครื่องมือค้นหาต้องการการเข้าสู่ระบบ/รหัสผ่าน (เช่น Ebay::Completed) ให้ใช้สิ่งนี้
"--รหัสผ่าน Carr0t5"
หากเครื่องมือค้นหาต้องการการเข้าสู่ระบบ/รหัสผ่าน (เช่น Ebay::Mature) ให้ใช้สิ่งนี้
DESCRIPTION
ค้นหาอัตโนมัติ ส่งแบบสอบถามไปยังเครื่องมือค้นหาสร้างหน้า HTML ที่สะท้อนถึงชุดของ
'hits' (ผลการค้นหาที่กรองแล้ว) ส่งคืนโดยเครื่องมือค้นหาและติดตามผลลัพธ์เหล่านี้
ล่วงเวลา. URL และชื่อเรื่องจะแสดงใน qid/index.html, URL, ชื่อเรื่อง และ
คำอธิบายจะแสดงในไฟล์ 'รายสัปดาห์'
ในการจัดระเบียบผลลัพธ์เหล่านี้ ผลการค้นหาแต่ละรายการจะอยู่ในไดเร็กทอรีข้อมูลการสืบค้น
(กิด). ไดเรกทอรีจะกลายเป็น 'จัดการ' ของผลการค้นหา ซึ่งเป็นวิธีที่ง่ายในการติดตามชุดของ
ผลลัพธ์. ดังนั้น qid ของ "/usr/local/htdocs/lsam/autosearch/load_balancing" อาจค้นหา
ผลลัพธ์บนเว็บเซิร์ฟเวอร์ของคุณที่ "http://www.isi.edu/lsam/autosearch/load_balancing".
ภายในไดเร็กทอรี qid คุณจะพบไฟล์ที่เกี่ยวข้องกับข้อความค้นหานี้ ไฟล์หลักคือ
index.htmlซึ่งสะท้อนถึงผลการค้นหาล่าสุด ทุก Hit ที่ไม่ได้กรองสำหรับทุกๆ
การค้นหาถูกเก็บไว้ใน index.html. เมื่อเครื่องมือค้นหาไม่พบการตีอีกต่อไป a
ลบออกจาก index.html. เมื่อผลลัพธ์การค้นหาใหม่ถูกส่งกลับจากเครื่องมือค้นหา
พวกเขาถูกวางไว้ใน index.html.
ที่ด้านล่างของ index.html, มีหัวเรื่อง "Weekly Search Results" ซึ่งมีการปรับปรุง
ทุกครั้งที่มีการส่งการค้นหา (ดู "การค้นหาอัตโนมัติ") รายการการค้นหาคือ
เก็บไว้ในลำดับเวลาย้อนกลับ รันที่ไม่มีข้อมูลใหม่คือ
ระบุด้วย
ไม่พบผลลัพธ์ที่ไม่ซ้ำสำหรับการค้นหาใน
รันที่มีการเปลี่ยนแปลงจะถูกระบุโดย
ผลการค้นหาเว็บสำหรับค้นหา
ซึ่งจะเชื่อมโยงหน้ารายละเอียดการเปลี่ยนแปลงจากการเรียกใช้ครั้งนั้น
ผลการค้นหาโดยละเอียดจะระบุไว้ในไฟล์รายสัปดาห์ ไฟล์เหล่านี้มีชื่อว่า ปปปปMMDD.html
และถูกเก็บไว้ในไดเร็กทอรี qid ไฟล์รายสัปดาห์รวมถึง THE URL, ชื่อเรื่อง, และ the
คำอธิบาย (ถ้ามี) ชื่อเรื่องเป็นลิงค์ไปยังหน้าเว็บต้นฉบับ
อัตโนมัติ สืบค้น
บนระบบที่เหมือน UNIX cron(1) อาจใช้เพื่อสร้างการค้นหาเป็นระยะและหน้าเว็บ
จะดูแลโดย ค้นหาอัตโนมัติ. เพื่อสร้างการค้นหาครั้งแรก ใช้ตัวอย่างแรก
ภายใต้เรื่องย่อ คุณต้องระบุ qid ชื่อคิวรี และสตริงการสืบค้น หากข้อใดข้อหนึ่ง
รายการขาดหายไป คุณจะได้รับการโต้ตอบสำหรับรายการที่ขาดหายไป
เมื่อการค้นหาครั้งแรกเสร็จสิ้น คุณสามารถดำเนินการค้นหาอีกครั้งโดยใช้แบบฟอร์มที่สองภายใต้
เรื่องย่อ
รายการ cron เช่น:
0 3 * * 1 /nfs/u1/wls/AutoSearch.pl /www/div7/lsam/autosearch/caching
อาจใช้ค้นหาทุกวันจันทร์ เวลา 3 น. ชื่อแบบสอบถามและสตริงการสืบค้น
อาจทำซ้ำได้ แต่จะไม่ใช้ ซึ่งหมายความว่าด้วยบรรทัด cron เช่น:
0 3 * * 1 /nfs/u1/wls/AutoSearch.pl /www/div7/lsam/autosearch/caching -n caching -s แคช
ชุดการค้นหาใหม่ทั้งหมดสามารถมาจาก
rm -r /www/div7/lsam/autosearch/caching
อย่างไรก็ตาม เหตุผลเดียวที่จะเริ่มซีรีส์การค้นหาใหม่ก็คือการทิ้งชุดเก่า
ไฟล์รายสัปดาห์
เราไม่แนะนำให้เรียกใช้การค้นหามากกว่าหนึ่งครั้งต่อวัน แต่ถ้าใช่ ไฟล์ต่อการทำงาน
จะได้รับการปรับปรุงในสถานที่ การเปลี่ยนแปลงใด ๆ จะถูกเพิ่มลงในเพจพร้อมความคิดเห็นว่า "ล่าสุด
เพิ่ม:"; และการลบจะแสดงด้วย "ล่าสุดที่ถูกระงับ:"
การเปลี่ยนแปลง DIE ดู OF DIE PAGES
รูปแบบพื้นฐานของสองหน้านี้เรียบง่ายและปรับแต่งได้ ข้อกำหนดอย่างหนึ่งคือ
โครงสร้างพื้นฐานยังคงไม่เปลี่ยนแปลง ความคิดเห็น HTML ใช้เพื่อระบุส่วนของ
เอกสาร. เกือบทุกอย่างสามารถเปลี่ยนแปลงได้ ยกเว้นสตริงที่ระบุ
ส่วนเริ่มต้นและสิ้นสุด
แท็กที่น่าสังเกตและความหมาย:
.*
ข้อความที่อยู่ในแท็กนี้จะถูกวางไว้ที่ด้านบนของผลลัพธ์
หน้าหนังสือ. หากข้อความมี ค้นหาอัตโนมัติ เว็บ ค้นหาจากนั้นชื่อแบบสอบถาม
จะเข้ามาแทนที่ หากข้อความไม่มีสตริงเวทย์มนตร์นี้และเป็น
ในการค้นหาครั้งแรก ผู้ใช้จะถูกถามถึงชื่อแบบสอบถาม
ข้อความที่อยู่ระหว่างวงเล็บปีกกาคือสตริงการสืบค้น นี่คือวิธี
ค้นหาอัตโนมัติ รักษาสตริงการสืบค้น คุณสามารถแก้ไขสตริงนี้เพื่อเปลี่ยน
สตริงแบบสอบถาม; แต่เฉพาะใน qid/index.html. ข้อความ ถาม ผู้ใช้งาน is
พิเศษและจะบังคับ ค้นหาอัตโนมัติ เพื่อขอสตริงการค้นหาจาก
ผู้ใช้
ข้อความที่อยู่ระหว่างวงเล็บปีกกาคือเครื่องมือค้นหา เครื่องยนต์อื่นๆ
รองรับ HotBot และ Lycos คุณสามารถแก้ไขสตริงนี้เพื่อเปลี่ยน
เครื่องยนต์ที่ใช้ แต่เฉพาะใน qid/index.html. ข้อความ ถาม ผู้ใช้งาน เป็นพิเศษและ
จะบังคับ ค้นหาอัตโนมัติ เพื่อขอสตริงการค้นหาจากผู้ใช้
ข้อความที่อยู่ระหว่างวงเล็บปีกการะบุตัวเลือกแบบสอบถาม หลายรายการ
คำสั่งนี้อนุญาตให้ระบุตัวเลือกได้หลายตัว
ข้อความที่อยู่ระหว่างวงเล็บปีกกาคือตัวกรอง URL นี่คือวิธี
ค้นหาอัตโนมัติ รักษาตัวกรอง อีกครั้งคุณอาจแก้ไขสตริงนี้เพื่อเปลี่ยน
สตริงแบบสอบถาม; แต่เฉพาะใน qid/index.html. ข้อความ ถาม ผู้ใช้งาน is
พิเศษและจะบังคับ ค้นหาอัตโนมัติ เพื่อถามผู้ใช้ (STDIN) สำหรับแบบสอบถาม
สตริง เมื่อตั้งค่าการค้นหาครั้งแรก คุณต้องแก้ไข first_index.html,
ไม่ qid/index.html. ตัวกรอง URL เป็น perl5 มาตรฐานปกติ
การแสดงออก. URL ที่ไม่ตรงกันจะถูกเก็บไว้
.*
ข้อความที่อยู่ในแท็กนี้จะถูกวางไว้ที่ด้านล่างของผลลัพธ์
หน้าหนังสือ. นี้เป็นที่ที่ดีในการใส่การนำทาง ข้อมูลเจ้าของเพจ
เป็นต้น
ส่วนที่เหลือของแท็กตกอยู่ในแฝดสามของ ~หัวเรื่อง, ~แม่แบบและ ~ที่ไหน ~ is
สรุป รายสัปดาห์ ผนวกและระงับ ส่วนย่อยจะปรากฏตามลำดับที่กำหนด ถึง
ผลิตมาตรา ค้นหาอัตโนมัติ ส่งออกส่วนหัว, แม่แบบ, ส่วน, สำเนา n
ข้อมูลที่จัดรูปแบบและ /section แท็กและหน้าที่ของแท็กคือ:
~Heading แท็ก heading ระบุส่วนหัวสำหรับส่วนของไฟล์เอาต์พุต
หัวเรื่องย่อมีไว้สำหรับส่วนสรุป ฯลฯ ส่วนอาจเป็น
ว่างเปล่า (เช่น ถูกระงับ) ดังนั้นจึงไม่มีเอาต์พุตส่วนหัว
~Template แท็กเทมเพลตระบุว่าจะจัดรูปแบบแต่ละรายการอย่างไร ข้อความง่าย ๆ
การแทนที่ใช้เพื่อเปลี่ยนเทมเพลตเป็นข้อความเอาต์พุตจริง
ข้อความที่จะแทนที่จะถูกบันทึกไว้ใน ALLCAPS
~ แท็กนี้ใช้เพื่อค้นหาส่วน (สรุป รายสัปดาห์ ฯลฯ) นี้
ส่วนแสดงถึงรายการ n จริงของข้อมูล
คุณสามารถแก้ไขค่าเหล่านี้ใน qid/index.html หน้าของการค้นหาที่มีอยู่ ไฟล์
first_index.html (ในไดเร็กทอรีด้านบน คิด) จะถูกใช้เป็นเทมเพลตเริ่มต้นสำหรับ new
คำสั่ง
ตัวอย่างของไฟล์เหล่านี้สามารถดูได้ในหน้าภายใต้
"http://www.isi.edu/lsam/tools/autosearch/" หรือในผลลัพธ์ที่สร้างโดย new
ค้นหาอัตโนมัติ
ใช้ AutoSearchp ออนไลน์โดยใช้บริการ onworks.net
