רובוטס טקטס זהו קובץ המאפשר לנו לומר לרובוטים השונים לא לאנדקס / לסרוק חלקים שונים באתר, ייתכן ואולי דפים ספציפים או סוגי קבצים.

ראשית לבדוק האם לאתר מסויים יש קובץ.
הקלידו את שם הדומיין והוסיפו סלש robots.txt
כך: https://www.seo-gavish.co.il/robots.txt

העתיקו את הלינק ותוכלו לראות את הקובץ של האתר הזה שבו אתם נמצאים.

בסרטון אני מסביר את השימושים השונים ואת הפקודות בקובץ, 

allow: /
disallow:

בסרטון אני מסביר גם על אפשרות לחסום רובוטים שונים שווה להעמיק את הידע שלכם גם בזה.
היכולת לחסום את הרובוטים מלסרוק אתר / דף מסויים חשובה לנו מאוד בתהליך הקידום של האתרים.

בזמן בניית אתר נהוג לחסום את הכתובת בזמן הבנייה, כדאי מאוד לשים תזכורות להסרת החסימה למניעת נזק לאתר.

בסרטון אחר אני מסביר את הנושא של תגית המטא רובוט שהיא שונה מהקובץ.

בכל פעם שתתקלו באתר שנמחק מגוגל או נעלם לפתע תעשו בדיקה של הרובוט ייתכן ומישהו חסם אותו שם או בתגית מטא.

בהצלחה