איך זה עובד בפועל
הקובץ נמצא תמיד בכתובת קבועה: yoursite.co.il/robots.txt. הוא בנוי מהוראות פשוטות: User-agent מגדיר לאיזה רובוט ההוראה מיועדת (כוכבית = כולם), Disallow חוסם נתיב מסריקה, Allow מחריג ממנו ו-Sitemap מצביע על מפת האתר. לדוגמה:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://yoursite.co.il/sitemap_index.xmlנקודה שרבים מפספסים: robots.txt מונע סריקה, לא אינדוקס. עמוד חסום עדיין יכול להופיע בגוגל אם מקשרים אליו מבחוץ, רק בלי תיאור. כדי להוציא עמוד מהאינדקס משתמשים בתג noindex, לא בחסימה בקובץ.
למה זה חשוב לעסק שלכם
קובץ robots.txt נכון מכוון את תקציב הזחילה לעמודים שמייצרים לכם כסף, במקום לבזבז אותו על עמודי סינון, עגלות קניה וקבצי מערכת. בעידן מנועי ה-AI הוא קיבל תפקיד נוסף: דרכו מחליטים אם לאפשר לרובוטים כמו GPTBot ו-ClaudeBot לגשת לתוכן, החלטה אסטרטגית לכל מי שרוצה להופיע בתשובות AI. זו בדיוק אחת הבדיקות הראשונות שאנחנו מריצים בכל פרויקט קידום אתרים אורגני.
דוגמה מעשית
הטעות הקלאסית שראיתי יותר מפעם אחת: אתר חדש עולה לאוויר ומפתח שכח להסיר את השורה Disallow: / שחסמה את אתר הבדיקה. התוצאה, גוגל מפסיקה לסרוק את האתר כולו והדירוגים מתאדים בשקט. בדיקה של שתי דקות ב-Google Search Console (דוח "robots.txt") הייתה חוסכת חודשים של נזק. זו הסיבה שבדיקת הקובץ נמצאת בראש הצ'קליסט הטכני שלנו בכל העלאת אתר.
שאלות נפוצות
האם חובה שיהיה לאתר קובץ robots.txt? לא חובה, אבל מומלץ מאוד. בלעדיו הרובוטים סורקים הכל, כולל אזורים שאין להם ערך חיפושי.
האם robots.txt מסתיר עמוד מגוגל? לא. הוא מונע סריקה בלבד. עמוד חסום עדיין עלול להופיע בתוצאות ללא תיאור. להסתרה אמיתית משתמשים ב-noindex או בהגנת סיסמה.
איך בודקים שהקובץ תקין? בדוח robots.txt ב-Google Search Console, או פשוט גולשים לכתובת הקובץ ובודקים שאין Disallow: / גורף.
מונחים קשורים
לא בטוחים מה קורה בקובץ robots.txt שלכם? אבדוק לכם אותו בבדיקת SEO טכני חינם: בלי התחייבות וכשעובדים איתנו: תוצאות תוך 90 יום או כסף בחזרה. דברו איתי
רוצים שהעסק שלכם יופיע ראשון בגוגל?
אנחנו ב-MindMark עושים קידום אתרים שנמדד בכסף שנכנס, לא בדוחות.
לשיחת ייעוץ חינם