[דניאל]

נכתב במקור על ידי itzik.l

תודה
אבל מה אני עושה אם אין לי את הקובץ robots.txt
?

יוצר אחד כזה,
זה קובץ טקסט רגיל...

העיקר שימוקם בספריה הראשית שזמינה לאיטרנט (לדוגמא: public_html)

[itziklug]

תודה רבה רבה לך
המסמך טקסט הזה פועל מצוין
אפשר לנעול

[Gil B]

נכתב במקור על ידי TelecarT

פשוט תמנעו ממנו ספציפית להכנס

בrobots.txt

תרשמו

PHP קוד:

User-agent: BadBot
Disallow: / 


במקום badbot, את שם הuseragent שהוא מתחבר איתו.

קוראים לו Slurp

[itziklug]

מוזר
הכנסתי את הקובץ אל התיקיה public_html, זה עצר אותו למספר דקות,
ושוב הבוט של yahoo מפגיז

[דניאל]

לינק שימושי לנושא:
http://help.yahoo.com/help/us/ysearch/slurp/