אני לא בטוח אבל הבנתיש אם אתה שם את שתי השורות הבאות בrobots.txt שנמצא בשרת שלך (robots.txt זה הקובץ הסבר לספיידרים והרובוטים באינטרנט), אז אתה מגביל את הרובוט שלהם.
הנה השורות:
קוד:
User-agent: Slurp
Crawl-delay: 10
USERAGENT, מגדיר את הספיידר אליו אתה פונוה.
והקרול דיליי מגביל את הכמות, אתה יכול לבחור כמות שאתה רוצה שנראה לך שתהיה טובה, ולא תפגע בשרת.