Skip to main content

זחילה

TL;DR

סריקה מבטיחה תהליך חלק עבור העכבישים של מנועי החיפוש לסרוק את האתר על מנת לקבל מידע עליו ולהוסיף אותו לאינדקס.

מהי זחילה?

יכולת סריקה מייצגת את הקלות של מנועי החיפוש לסרוק אתר מבלי לפספס תוכן חיוני או שהסורק שלהם חסום. סורקים או עכבישים מייצגים את הבוטים של מנועי החיפוש שסורקים אתר על מנת לאסוף מידע על תוכנו ולדרג אותו כראוי.

מדוע יכולת סריקה חשובה לאתר?

אם בוט של מנועי חיפוש סורק את האתר בצורה נכונה ומביא את כל המידע, האתר והעמודים שלו ינוספו בהצלחה.

עם זאת, אם יש קישורים שבורים או הגדרה שגויה של מפת אתר, זה עלול להוביל לכמה בעיות סריקה, והעכביש של מנוע החיפוש לא יוכל לגשת, לסרוק ולהוסיף לאינדקס תוכן ספציפי באתר.

כדי להבטיח סריקה נכונה וחלקה של אתר, בדוק את רשימת הפעולות שיש להימנע מהן מכיוון שהן עלולות למנוע מהעכבישים לסרוק:

  • ודא שיש לך קובץ robots.txtנכון ושהמטא תג של הרובוטים בדף ספציפי לא יחסום את הסורק.
  • בדוק את קודי ה-HTTP. למשל, קוד סטטוס 200 ירמז שהפעולה הצליחה והכל בסדר.
  • ודא את שדות כותרות תגובת ה-HTTP שיכולים להשפיע על אסטרטגיית ה-SEO שלך: כגון תג x-robots (למשל, X-Robots-Tag: noindex); שרת (למשל, שרת: nginx); מיקום (ודא שכתובות האתרים לניתוב מחדש פועלות), והקישור למראה שלמשאב המבוקש יש קשר עם משאבים אחרים.