2. סורק - Scanner

סורק





אפשרות הסורק היא להסתכל על קבצי ה robots.txt. 
למעשה אין צורך שתגעו בזה, זה מיועד למתכנים.

יחד עם זאת: אם אתם חושדים שעמודים מסוימים לא נסרקו על ידי גוגל. 

  • הכנסו לגישה לסורק
  • רדו למטה לקוביה עם הכותרת: כתובות אתרים ציין את כתובות האתר וה-user-agent שמולם יש לבצע בדיקה
  • העתיקו את כתובת הדף שאתם חושבים שגוגל לא סורק (או רק בשביל לבדוק)
  • לחצו על בדיקה
התוצאה הרצויה היא שכתובת האתר מותרת לסריקה. 

קישורים רלוונטים