ציטוט:
נכתב במקור על ידי GNS
כן, רק תוריד רווחים.
שים לב שהקובץ robots.txt נגיש לכולם, תוקפים אוהבים לקרוא אותו כדי לראות איזה דפים בעל האתר רוצה להסתיר.
שים לב שאין פרטים מסוכנים בכתובות הנ"ל.
|
ואם למשל אני רוצה שגוגל יסרוק כל חלק באתר,
אני צריך לכתוב בקובץ רק:
אין שום משהו לסגירה?
?