מה זה זחלן (Crawler)?

זחלן, המכונה גם ספיידר או בוט סריקה, הוא תוכנה אוטומטית שעוברת בין עמודי אינטרנט, קוראת את תוכנם ועוקבת אחרי הקישורים שבהם כדי לגלות עמודים נוספים. זהו השלב הראשון בשרשרת של מנוע חיפוש: סריקה, עיבוד ואינדוקס ורק אחר כך דירוג. עמוד שהזחלן לא הגיע אליו פשוט אינו קיים עבור המנוע.

למה זה חשוב לעסק

כל דיון על דירוגים מתחיל בשאלה בסיסית יותר: האם הזחלן בכלל מצליח להגיע לעמודים שלכם ולקרוא אותם. חסימה שגויה בקובץ robots.txt, תפריט שנבנה כולו בג'אווהסקריפט בלי קישורים אמיתיים בקוד, או עמודים שאין אליהם אף קישור פנימי, כל אלה מותירים חלקים שלמים מהאתר בלתי נראים. זו תקלה שקטה: האתר נראה מצוין לגולש ופשוט לא קיים בחיפוש.

חשוב להבין שזחלנים אינם רק של גוגל. Bingbot של מיקרוסופט, זחלנים של כלי SEO כמו Ahrefs ו-Semrush וזחלנים של חברות בינה מלאכותית, כולם פונים לאתר שלכם. חלקם מכבדים את הכללים שהגדרתם וחלקם פחות.

דוגמה מעשית

אתר תדמית של משרד יועצים עבר עיצוב מחדש. הגרסה החדשה נראתה מצוין, אבל שלושה חודשים אחרי ההשקה כמות העמודים באינדקס צנחה. בבדיקה התברר ששורת Disallow גורפת שנועדה לחסום את סביבת הפיתוח נשארה בקובץ robots.txt של האתר החי. הזחלן פשוט לא נכנס. הסרת שורה אחת בקובץ החזירה את הסריקה ותוך כשבועיים העמודים חזרו לאינדקס.

טעות נפוצה

בלבול בין סריקה לאינדוקס. אלה שני שלבים נפרדים. עמוד יכול להיסרק ולא להיכנס לאינדקס, אם גוגל מחליטה שהוא דל בערך או כפול. ולהפך: עמוד חסום בקובץ robots.txt יכול בכל זאת להופיע בתוצאות, בלי תיאור, אם קישורים חיצוניים רבים מפנים אליו. חסימת סריקה אינה ערובה להיעלמות מהתוצאות. לכך משמשת תגית noindex, שדורשת דווקא שהעמוד יהיה פתוח לסריקה.

טיפ מעשי: לפני כל שינוי מבני באתר, הריצו סריקה עם כלי כמו Screaming Frog ושמרו את התוצאה. אחרי ההשקה, הריצו שוב והשוו. ההשוואה הזו חושפת תוך דקות מה נשבר.

איך שולטים בזחלנים

קובץ robots.txt מגדיר לאן מותר להיכנס, תגיות מטא ברמת העמוד מגדירות מה מותר לאנדקס, מפת אתר XML מסייעת בגילוי עמודים וקישורים פנימיים מסמנים מה חשוב.

שווה גם לעקוב אחרי עומס: זחלנים של כלים מסחריים יכולים להעמיס על שרת חלש יותר מגוגל עצמה. אם השרת מתקשה, אפשר להגביל אותם בקובץ robots.txt לפי שם הבוט, בלי לפגוע בסריקה של מנועי החיפוש.

להרחבה ראו את המדריך לגוגל סרץ' קונסול ואת שירותי קידום האתרים.