ציטוט:
נכתב במקור על ידי nin770
תוכל להדריך אותי ?
אשמח מאוד אני חייב ממש עזרה
תודה
|
לדוגמא ככה תוכל לחסום את כל הרובוטים פרט לרובוט של גוגל:
קוד:
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
אתה יכול להוסיף עוד שורה שתאשר גישה לרובוטים נוספים אם אתה רוצה.
אתה יכול לחסום גישה לתמונות שלך לדוגמא:
קוד:
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Disallow: /Images/
הקוד הזה חוסם את כל הרובוטים אך מאפשר לרובוט של גוגל לסרוק את האתר פרט לתיקיית Images (שנה שם הנתיב לתיקיה שבה יושבות התמונות שלך)
מידע נוסף תוכל למצא בגוגל בקלות - רק תחפש.
לדוגמא אני מצאתי את הדף הזה שמסביר הכל מאוד בקלות:
http://www.javascriptkit.com/howto/robots.shtml