[KriZza]

נכתב במקור על ידי GNS

כן, רק תוריד רווחים.

שים לב שהקובץ robots.txt נגיש לכולם, תוקפים אוהבים לקרוא אותו כדי לראות איזה דפים בעל האתר רוצה להסתיר.
שים לב שאין פרטים מסוכנים בכתובות הנ"ל.

ואם למשל אני רוצה שגוגל יסרוק כל חלק באתר,
אני צריך לכתוב בקובץ רק:

User-agent: googlebot

אין שום משהו לסגירה?
?