[IgalSt]

נכתב במקור על ידי nin770

תוכל להדריך אותי ?
אשמח מאוד אני חייב ממש עזרה
תודה

לדוגמא ככה תוכל לחסום את כל הרובוטים פרט לרובוט של גוגל:

User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /

אתה יכול להוסיף עוד שורה שתאשר גישה לרובוטים נוספים אם אתה רוצה.

אתה יכול לחסום גישה לתמונות שלך לדוגמא:

User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Disallow: /Images/

הקוד הזה חוסם את כל הרובוטים אך מאפשר לרובוט של גוגל לסרוק את האתר פרט לתיקיית Images (שנה שם הנתיב לתיקיה שבה יושבות התמונות שלך)

מידע נוסף תוכל למצא בגוגל בקלות - רק תחפש.
לדוגמא אני מצאתי את הדף הזה שמסביר הכל מאוד בקלות: http://www.javascriptkit.com/howto/robots.shtml