ציטוט:
נכתב במקור על ידי Niros
כאילו הם בוכים שאתה מנסה לרמאות בעזרת הקובץ שכאילו עושה משהו לרובוט שלהם /=
|
לא.
לדעתי פשוט תמחק את הקובץ Robots.txt אם אתה לגמרי לא יודע כיצד להשתמש בו כדאי לעזוב אותו פשוט ולמחוק אותו כי בשימוש מוטעה הוא יכול להזיק אבל בשימוש נכון הוא לא מוסיף עד כדי כך הרבה.