ציטוט:
נכתב במקור על ידי Tomer Pearl
כן, החלטתי לנסות לחסום את יאהו לכמה זמן, הקטע המוזר הוא שחסמתי אותו דרך הrobots.txt והוא לא מפסיק להיכנס... ואיך אפשר לחסום נגיד גישה של מנועי חיפוש לJS באתר?
וThe Chosen Generl
כתבתי בהודעה הראשית, שהחישוב הוא אחרי שהאטתי את גוגל. עם הכלי של גוגל..
|
אז יש מצב שאיזה בוט התלבש עליך והוא רושם בuser-agent שלו שמות של מנועי חיפוש,תבדוק את הנושא בעזרת האייפי של הבוט או אם יש לך דרך אחרת תבדוק איתה
בהצלחה