מה זה תקציב סריקה (Crawling Budget)?

תקציב סריקה הוא כמות העמודים שמנוע החיפוש מוכן לסרוק באתר מסוים בפרק זמן נתון. גוגל מגדיר אותו כשילוב של שני גורמים: מגבלת קצב הסריקה, כלומר כמה עומס השרת מסוגל לספוג והביקוש לסריקה, כלומר עד כמה גוגל מעוניין בתכנים שלכם. כשהתקציב מתבזבז, עמודים חשובים ממתינים לאינדוקס.

למה זה חשוב לעסק

עמוד שלא נסרק לא נכנס לאינדקס ועמוד שלא נמצא באינדקס לא מביא לקוחות. באתרים קטנים ובינוניים, עד כמה אלפי כתובות, זו כמעט אף פעם לא הבעיה האמיתית וגוגל עצמה אומרת זאת במפורש. לעומת זאת באתרי מסחר גדולים, אתרי נדל"ן, לוחות ופורטלים עם עשרות אלפי עמודים ופילטרים דינמיים, בזבוז תקציב הסריקה הוא אחת הסיבות הנפוצות לכך שקטגוריות ומוצרים חדשים לוקח שבועות עד שהם מתחילים לדרג.

דוגמה מעשית

חנות אונליין עם 4,000 מוצרים ייצרה, בלי לשים לב, מאות אלפי כתובות דרך מערכת הפילטרים: צבע, מידה, מחיר וסדר תצוגה, כל שילוב עם פרמטר משלו בכתובת. בבדיקת דוח סטטיסטיקות הסריקה בסרץ' קונסול התברר שרוב הבקשות של גוגל הופנו לכתובות פילטר, בזמן שעמודי המוצר החדשים כמעט לא נסרקו. הפתרון: חסימת דפוסי הפרמטרים ב-robots.txt, תיוג קנוני לעמוד הקטגוריה הנקי וניקוי הקישורים הפנימיים כך שלא יובילו לכתובות המסוננות. תוך כמה שבועות קצב הסריקה של עמודי המוצר עלה משמעותית.

טעות נפוצה

הטעות הרווחת היא להשתמש בתגית noindex כדי לחסוך תקציב סריקה. זה לא עובד. כדי שגוגל תדע שהעמוד מסומן noindex היא חייבת לסרוק אותו קודם, כך שהתקציב נצרך בכל מקרה. אם המטרה היא למנוע סריקה, הכלי הנכון הוא robots.txt או הסרה מוחלטת של הקישורים הפנימיים. אם המטרה היא למנוע הופעה בתוצאות, הכלי הנכון הוא noindex. שני כלים, שתי מטרות שונות.

טיפ נוסף: זמן תגובת שרת איטי מקטין ישירות את קצב הסריקה. שיפור מהירות התגובה הוא לרוב הדרך הזולה ביותר להגדיל את התקציב בפועל.

איך בודקים ומטפלים

הכלי המרכזי הוא דוח סטטיסטיקות הסריקה בגוגל סרץ' קונסול, שמראה כמה בקשות בוצעו, לאילו סוגי קבצים ובאילו קודי תגובה. השוואה בין מספר הכתובות במפת האתר לבין מספר העמודים המאונדקסים מספקת תמונה ראשונית מהירה.

בבדיקות טכניות שאני מבצע ללקוחות, ניקוי כתובות מיותרות והאצת השרת הם שני הצעדים שמניבים את השיפור המהיר ביותר. לניתוח מלא של המבנה הטכני של האתר שלכם, ראו את שירותי קידום האתרים שלנו ואת המדריך שלנו לגוגל סרץ' קונסול.