[israeli]

נכתב במקור על ידי Exa.co.il

לדוגמא ככה תוכל לחסום את כל הרובוטים פרט לרובוט של גוגל:

User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /

אתה יכול להוסיף עוד שורה שתאשר גישה לרובוטים נוספים אם אתה רוצה.

אתה יכול לחסום גישה לתמונות שלך לדוגמא:

User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Disallow: /Images/

הקוד הזה חוסם את כל הרובוטים אך מאפשר לרובוט של גוגל לסרוק את האתר פרט לתיקיית Images (שנה שם הנתיב לתיקיה שבה יושבות התמונות שלך)

מידע נוסף תוכל למצא בגוגל בקלות - רק תחפש.
לדוגמא אני מצאתי את הדף הזה שמסביר הכל מאוד בקלות: http://www.javascriptkit.com/howto/robots.shtml

תודה רבה לך
הרבה הצלחה בעז"ה