מה זה Googlebot (גוגל בוט)?

Googlebot הוא שמו הרשמי של הזחלן של גוגל, התוכנה שסורקת עמודי אינטרנט ומזינה את אינדקס החיפוש. הוא פועל בשתי גרסאות עיקריות, למובייל ולדסקטופ, כאשר ברירת המחדל עבור כמעט כל האתרים כיום היא הגרסה הניידת. Googlebot מזהה את עצמו בכל בקשה באמצעות מחרוזת User Agent ייעודית.

למה זה חשוב לעסק

Googlebot הוא המבקר החשוב ביותר באתר שלכם, גם אם הוא לא קונה דבר. מה שהוא רואה ורק מה שהוא רואה, הוא הבסיס לכל דירוג. מאז המעבר לאינדוקס מבוסס מובייל, גוגל מדרגת אתרים לפי הגרסה הניידת שלהם. המשמעות מעשית: אם גרסת המובייל של האתר מציגה פחות תוכן מגרסת הדסקטופ, למשל תיאורי מוצר מקוצרים או סעיפים שהוסתרו, זו הגרסה המצומצמת שנשפטת. גם משתמשי דסקטופ יראו את התוצאה שנקבעה לפי המובייל.

דוגמה מעשית

אתר נדל"ן בנוי כאפליקציית עמוד יחיד הציג את כל רשימת הנכסים דרך קריאות דינמיות לאחר טעינת העמוד. לגולש הכול נראה תקין. בבדיקת כלי בדיקת ה-URL בגוגל סרץ' קונסול, שמראה את העמוד המעובד בדיוק כפי ש-Googlebot רואה אותו, התגלה שהרשימה ריקה לחלוטין: התוכן הגיע אחרי שהזחלן כבר סיים. הפתרון היה עיבוד בצד השרת לעמודי הרשימה, כך שהתוכן קיים בקוד מהרגע הראשון. אלפי עמודי נכסים נכנסו לאינדקס בשבועות שלאחר מכן.

טעות נפוצה

הטעות המסוכנת היא לחסום בטעות משאבים שהעמוד תלוי בהם. חסימה של תיקיות CSS או JavaScript בקובץ robots.txt גורמת ל-Googlebot לראות עמוד שבור, בלי עיצוב ובלי פונקציונליות ולהסיק ממנו מסקנות בהתאם.

טיפ חשוב לאבטחה: אל תסמכו על מחרוזת ה-User Agent לבדה. כל אחד יכול להתחזות ל-Googlebot וזו טכניקה נפוצה של גורפי תוכן. האימות הנכון הוא בדיקת DNS הפוכה של כתובת ה-IP, שצריכה להוביל לדומיין של גוגל ואז בדיקה קדימה חזרה לאותה כתובת. גוגל גם מפרסמת רשימת טווחי IP רשמיים לצורך אימות אוטומטי.

איך בודקים מה Googlebot רואה

שלושה כלים מספיקים ברוב המקרים: כלי בדיקת ה-URL בסרץ' קונסול לצפייה בעמוד המעובד, דוח סטטיסטיקות הסריקה לתמונת הפעילות הכוללת ולוגים של השרת לתמונה המדויקת ביותר של מה שנסרק בפועל ובאיזו תדירות.

נקודה אחרונה: Googlebot אינו בוט יחיד. גוגל מפעילה משפחה שלמה של סוכנים ייעודיים, בהם בוט לתמונות, בוט לווידאו, בוט לחדשות ובוטים נפרדים לשירותי המודעות ולמוצרי הבינה המלאכותית וכל אחד מהם עשוי להיות מוגדר אחרת בקובץ robots.txt.

להרחבה ראו את מונח זחלן, את המדריך לגוגל סרץ' קונסול ואת שירותי קידום האתרים.