ציטוט:
נכתב במקור על ידי Kernel
אפשרי,
אך הפעולה תוריד מכמות המבקרים באתר,
אגב, הבוט של MSN, גם תחמן לא קטן, וצורך המון משאבים כשהוא באתר.
אבי
|
סירחון לא נורמלי מה זה צריך להיות אני בודק לקחו לי משהוא כמו 5 ג'גה על תעבורת חיפוש
כי אני יודע כמה תעבורה מקסימלית אני מגיע ביום לוקח לי עוד חצי ג'גה ביום על תעבורה סתם
ציטוט:
נכתב במקור על ידי Exa.co.il
הייתי ממליץ לבדוק את הלוגים שלך ולראות איזה רובוטים מבקרים אצלך כדי שתהיה בטוח שהבעיה נובעת אכן מזה.
כמו כן תוכל להשתמש בקובץ robots.txt על מנת להגביל את הגישה לאתרך (או לדפים/תיקיות ספציפיות) לכל אחד מהרובוטים שאתה רוצה או לא רוצה באתר
|
אבל איך אני עושה רק למנועי חיפוש בודדים של חו"ל