עזרה , חסימה של מנועי חיפוש של חו"ל

[israeli]

ב"ה

אז כך אני בודק בתעבורה היומית אני וראה שהתעבורה ממש ענקית אני כמעת בטוח שמדובר במנועי חיפוש מחו"ל שמסתובבים באתר כי אתר מתורגם לכמה שפות

האם יש דרך לא לתת להם להיכנס שיהיה רק בדיקה של גוגל וMSN

תודה

[Kernel]

אפשרי,
אך הפעולה תוריד מכמות המבקרים באתר,

אגב, הבוט של MSN, גם תחמן לא קטן, וצורך המון משאבים כשהוא באתר.


אבי

[IgalSt]

הייתי ממליץ לבדוק את הלוגים שלך ולראות איזה רובוטים מבקרים אצלך כדי שתהיה בטוח שהבעיה נובעת אכן מזה.
כמו כן תוכל להשתמש בקובץ robots.txt על מנת להגביל את הגישה לאתרך (או לדפים/תיקיות ספציפיות) לכל אחד מהרובוטים שאתה רוצה או לא רוצה באתר

[israeli]

נכתב במקור על ידי Kernel

אפשרי,
אך הפעולה תוריד מכמות המבקרים באתר,

אגב, הבוט של MSN, גם תחמן לא קטן, וצורך המון משאבים כשהוא באתר.
אבי

סירחון לא נורמלי מה זה צריך להיות אני בודק לקחו לי משהוא כמו 5 ג'גה על תעבורת חיפוש
כי אני יודע כמה תעבורה מקסימלית אני מגיע ביום לוקח לי עוד חצי ג'גה ביום על תעבורה סתם

נכתב במקור על ידי Exa.co.il

הייתי ממליץ לבדוק את הלוגים שלך ולראות איזה רובוטים מבקרים אצלך כדי שתהיה בטוח שהבעיה נובעת אכן מזה.
כמו כן תוכל להשתמש בקובץ robots.txt על מנת להגביל את הגישה לאתרך (או לדפים/תיקיות ספציפיות) לכל אחד מהרובוטים שאתה רוצה או לא רוצה באתר

אבל איך אני עושה רק למנועי חיפוש בודדים של חו"ל

[Kernel]

הרובוטים האלה משתמשים בזיהוי דפדפן שונה,

אתה יכול להכניס חוק, שרובוט X ו-Y נחסמים, כש-GOOGLE עובר.

[IgalSt]

נכתב במקור על ידי nin770

סירחון לא נורמלי מה זה צריך להיות אני בודק לקחו לי משהוא כמו 5 ג'גה על תעבורת חיפוש
כי אני יודע כמה תעבורה מקסימלית אני מגיע ביום לוקח לי עוד חצי ג'גה ביום על תעבורה סתם



אבל איך אני עושה רק למנועי חיפוש בודדים של חו"ל

תשתמש במנוע חיפוש (אהם גוגל אהמ) כדי לחפש על robots.txt ותלמד

[israeli]

נכתב במקור על ידי Kernel

הרובוטים האלה משתמשים בזיהוי דפדפן שונה,

אתה יכול להכניס חוק, שרובוט X ו-Y נחסמים, כש-GOOGLE עובר.

תוכל להדריך אותי ?
אשמח מאוד אני חייב ממש עזרה
תודה

[Kernel]

באיזה סקריפט מדובר?


אפשר לתכנת את הפתרון של זה, לפי 140 ש"ח לשעה. צפי עבודה 3-5 שעות.

אבי

[IgalSt]

נכתב במקור על ידי nin770

תוכל להדריך אותי ?
אשמח מאוד אני חייב ממש עזרה
תודה

לדוגמא ככה תוכל לחסום את כל הרובוטים פרט לרובוט של גוגל:

User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /

אתה יכול להוסיף עוד שורה שתאשר גישה לרובוטים נוספים אם אתה רוצה.

אתה יכול לחסום גישה לתמונות שלך לדוגמא:

User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Disallow: /Images/

הקוד הזה חוסם את כל הרובוטים אך מאפשר לרובוט של גוגל לסרוק את האתר פרט לתיקיית Images (שנה שם הנתיב לתיקיה שבה יושבות התמונות שלך)

מידע נוסף תוכל למצא בגוגל בקלות - רק תחפש.
לדוגמא אני מצאתי את הדף הזה שמסביר הכל מאוד בקלות: http://www.javascriptkit.com/howto/robots.shtml

[israeli]

נכתב במקור על ידי Exa.co.il

לדוגמא ככה תוכל לחסום את כל הרובוטים פרט לרובוט של גוגל:

User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /

אתה יכול להוסיף עוד שורה שתאשר גישה לרובוטים נוספים אם אתה רוצה.

אתה יכול לחסום גישה לתמונות שלך לדוגמא:

User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Disallow: /Images/

הקוד הזה חוסם את כל הרובוטים אך מאפשר לרובוט של גוגל לסרוק את האתר פרט לתיקיית Images (שנה שם הנתיב לתיקיה שבה יושבות התמונות שלך)

מידע נוסף תוכל למצא בגוגל בקלות - רק תחפש.
לדוגמא אני מצאתי את הדף הזה שמסביר הכל מאוד בקלות: http://www.javascriptkit.com/howto/robots.shtml

תודה רבה לך
הרבה הצלחה בעז"ה