Skip to main content

ספיידר /סורק אינטרנט

TL;DR

סורקי אינטרנט, הידועים גם בתור עכבישים או בוטים, זורקים ברחבי הרשת העולמית כדי לאינדקס דפים עבור מנועי החיפוש, כך שהתוצאות שניתנו לאחר חיפוש מילת מפתח ספציפית רלוונטיות.

מהו סורק אינטרנט?

סורק אינטרנט, עכביש או בוט מנוע חיפוש (כגון Googlebot או Bingbot), סורק, מוריד ומוסיף תוכן מכל רחבי האינטרנט על ידי גישה אוטומטית לאתר ומעבר על כל הקישורים בתוכו.

כיצד פועלים סורקי אינטרנט?

מנועי חיפוש כמעט תמיד מפעילים בוטים על מנת לאסוף, להוסיף לאינדקס ולספק קישורים רלוונטיים בתגובה לשאילתות חיפוש של משתמשים (מילות מפתח).

תפקידו של בוט סורק מנוע חיפוש דומה מאוד לאדם שמארגן ספרייה שלמה ויוצר דף קל לבדוק או קטלוג של כל הספרים כדי למצוא אותם בקלות; באופן דומה, הבוטים מארגנים את הדפים ברחבי האינטרנט ומציגים את הרלוונטיים על סמך מה שאדם מחפש.

דפים ואתרים חדשים מתעדכנים ומתפרסמים כל שנייה, והמטרה העיקרית של סורקי האינטרנט היא להתחיל לסרוק מתוך רשימה של כתובות אתרים ידועות, ולהמשיך כשהם ימצאו היפר-קישורים לכתובות אתרים אחרות, והם מוסיפים אותם לרשימת הדפים לזחול הבא.