แมงมุม /โปรแกรมรวบรวมข้อมูลเว็บ

TL;DR

โปรแกรมรวบรวมข้อมูลเว็บที่เรียกว่าสไปเดอร์หรือบอทเช่นกัน รวบรวมข้อมูลผ่านเวิลด์ไวด์เว็บเพื่อสร้างดัชนีหน้าสำหรับเครื่องมือค้นหา ดังนั้นผลลัพธ์ที่ให้หลังจากค้นหาคีย์เวิร์ดเฉพาะจึงมีความเกี่ยวข้อง

โปรแกรมรวบรวมข้อมูลเว็บคืออะไร?

โปรแกรมรวบรวมข้อมูลเว็บ สไปเดอร์ หรือบอทของเครื่องมือค้นหา (เช่น Googlebot หรือ Bingbot) รวบรวมข้อมูล ดาวน์โหลด และจัดทำดัชนีเนื้อหาจากทั่วอินเทอร์เน็ตโดยการเข้าถึงเว็บไซต์โดยอัตโนมัติและไปที่ลิงก์ทั้งหมดภายใน

โปรแกรมรวบรวมข้อมูลเว็บทำงานอย่างไร

เสิร์ชเอ็นจิ้นมักจะใช้งานบอทเพื่อรวบรวม จัดทำดัชนี และจัดเตรียมลิงก์ที่เกี่ยวข้องเพื่อตอบสนองต่อคำค้นหาของผู้ใช้ (คำหลัก)

บทบาทของบอทโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหานั้นคล้ายกับบุคคลที่จัดระเบียบห้องสมุดทั้งหมดและสร้างหน้าตรวจสอบหรือแคตตาล็อกของหนังสือทั้งหมดเพื่อให้ค้นหาได้ง่าย ในทำนองเดียวกัน บอทจะจัดระเบียบหน้าต่างๆ ทั่วทั้งเว็บและแสดงหน้าที่เกี่ยวข้องตามสิ่งที่บุคคลค้นหา

หน้าและเว็บไซต์ใหม่ ๆ ได้รับการอัปเดตและเผยแพร่ทุก ๆ วินาที และเป้าหมายหลักของโปรแกรมรวบรวมข้อมูลเว็บคือการเริ่มรวบรวมข้อมูลจากรายการ URL ที่รู้จัก และดำเนินการต่อเนื่องจากจะพบไฮเปอร์ลิงก์ไปยัง URL อื่น และเพิ่มไปยังรายการของหน้า คลานต่อไป