קובץ robots.txt - תקין ?

[KriZza]

User-agent: googlebot
Disallow: /forum/post.asp

Disallow: /forum/user_profile.asp

Disallow: /forum/search.asp

Disallow: /forum/password.asp

מה שבעצם אני רוצה זה שגוגל יסרוק את האתר שלי מלבד את מה שכתוב בDisallow

תקין ?

[KriZza]

?

[GNS]

כן, רק תוריד רווחים.

שים לב שהקובץ robots.txt נגיש לכולם, תוקפים אוהבים לקרוא אותו כדי לראות איזה דפים בעל האתר רוצה להסתיר.
שים לב שאין פרטים מסוכנים בכתובות הנ"ל.

[KriZza]

נכתב במקור על ידי GNS

כן, רק תוריד רווחים.

שים לב שהקובץ robots.txt נגיש לכולם, תוקפים אוהבים לקרוא אותו כדי לראות איזה דפים בעל האתר רוצה להסתיר.
שים לב שאין פרטים מסוכנים בכתובות הנ"ל.

ואם למשל אני רוצה שגוגל יסרוק כל חלק באתר,
אני צריך לכתוב בקובץ רק:

User-agent: googlebot

אין שום משהו לסגירה?
?

[Qwais]

למה דווקא גוגל? אתה יכול לרשום * וזה יהיה תקף לכולם.

בבקשה(robots.txt generator):
http://www.mcanerin.com/EN/search-engine/robots-txt.asp

בדיקת תקינות:
http://tool.motoricerca.info/robots-checker.phtml