שאלה בנוגע ל robots.txt

[eladzazon]

שלום לכולם,
אני אלעד בעל האתר www.reka.us רקעים למחשב.

השאלה שלי היא כזו:

ראיתי שמנועי החיפוש סורקים את הדף robots.txt באתר שלי,
אך הם מגיעים בעצם לדף 404 כי הדף robots.txt לא נמצא אצלי.
דף ה404 כפי שתוכלו לראות כאן: http://www.reka.us/robots.txt כמו כל שאר דפי ה 404 אצלי באתר, מציג את הדף הראשי.

מה מנועי החיפוש ובעיקר גוגל עושים כשהם מנסים להגיע לדף עם מידע ומגיעים לדף הבית שלי, האם זה מכביד עליהם? מונע מהם גישה?

קראתי קצת וחשבתי לעשות קובץ robots.txt עם התוכן הבא



User-agent: *
Disallow:



שימו לב, ברצוני לתת לגוגל (או לכל מנוע חיפוש אחר) גישה חופשית לכל הדפים באתר שלי, האם הקוד תקין? האם יעזור? או שזה לא משנה

תודה רבה, אלעד.