תעבורה, ממנועי חיפוש בעיקר - שאלה. - הוסטס

Tomer Pearl · 31-08-09, 13:16

באתר שלי, www.HPortal.co.il יש בממוצע 2 גיג'ה תעבורה כל יום. כפול 30 ימים בחודש זה יוצא 60 ג'יגה תעבורה בחודש, שזה המון.
ניסיתי להבין מה גורם לזה, ולבדוק אם זאת כמות הגולשים, וכנראה שלא. כי נגיד יש 1000 גולשים קבועים כל יום, ונגיד שהם מרעננים את הדף 3 פעמים, וגודל של דף ממוצע באתר שלי הוא 300KB. זה יוצא ג'יגה אחד. וגם כל זה בהגזמה פראית, כי הרי יש מטמון, בקיצור. כמות התעבורה מהגולשים הרגילים לא יכולה להגיע לכל כך הרבה. מה שגרם לי לחשוב שכנראה יש יותר מדי בוטים באתר.. חסמתי את השלושה ארבעה בוטים שמצאתי ושום דבר לא השתנה. אז עברתי לבדוק מנועי חיפוש וזה מה שגיליתי. גוגל, ויאהו, (אחראי שהאטתי את גוגל!) מרעננים כל דקה את האתר. זאת אומרת עוברים בין הדפים.. כל דקה דף אחר. לפי חישוב פשוט זה יוצא בערך 1500 ריענונים לכל אחד מהם, כל יום. נגיד 3000 ביחד, זה יוצא 90 אלף ריענונים כל חודש. שזה לא כל כך הרבה, אם העכבישים של גוגל ויאהו משתמשים במטמון, אבל אם לא - זה הרבה, הרבה מאוד. וזה עוד בלי להכליל את העכביש של מיקרוסופט (MSN + BING)...
בקיצור, מישהו התנסה בכל זה? יודע משהו על הנושא ועל איך לצמצם את התעבורה למינימום?

mlnn · 31-08-09, 13:32

איך חישבת את זה שהם מרעננים את הדף כל דקה?

Tomer Pearl · 31-08-09, 13:49

מערכת שעוקבת אחרי הכניסות ממנועי חיפוש ובכל כניסה היא מוסיפה רשומה למסד נתונים..

AlmogBaku · 31-08-09, 14:24

תנסה את Page Speed לפיירבאג- הוא מאוד יעיל..

הוא כותב על האתר שלך כמה דברים.. למשלן שלא מוגדר caching שאפשר לצמצם וכו..

עריכה:

תוסיף לאתר:

PHP קוד:


			
session_cache_limiter('public');

Tomer Pearl · 31-08-09, 19:29

תודה אלמוג, אני אעבוד עם הPage Speedואראה אם זה משנה את כמות התעבורה..

Erez | TrustMedia.co.il · 31-08-09, 19:51

תנסה לחסום גישה לתמונות ולקבצי סקריפט של האתר שלך למנועי החיפוש,זה לא ישפיע משמעותית אבל זה ישפיע
או שתחסום חלק מהבוטים של מנועי חיפוש לא פופולאריים

Shay Ben Moshe · 31-08-09, 20:06

יש בגוגל webmasters tool יש שם אפשרות לקבוע כמה כניסות גוגל יבצע.
נסה את זה.

Tomer Pearl · 31-08-09, 20:35

ציטוט:

נכתב במקור על ידי EAStyle

תנסה לחסום גישה לתמונות ולקבצי סקריפט של האתר שלך למנועי החיפוש,זה לא ישפיע משמעותית אבל זה ישפיע
או שתחסום חלק מהבוטים של מנועי חיפוש לא פופולאריים

כן, החלטתי לנסות לחסום את יאהו לכמה זמן, הקטע המוזר הוא שחסמתי אותו דרך הrobots.txt והוא לא מפסיק להיכנס... ואיך אפשר לחסום נגיד גישה של מנועי חיפוש לJS באתר?

וThe Chosen Generl
כתבתי בהודעה הראשית, שהחישוב הוא אחרי שהאטתי את גוגל. עם הכלי של גוגל..

Erez | TrustMedia.co.il · 01-09-09, 16:39

ציטוט:

נכתב במקור על ידי Tomer Pearl

כן, החלטתי לנסות לחסום את יאהו לכמה זמן, הקטע המוזר הוא שחסמתי אותו דרך הrobots.txt והוא לא מפסיק להיכנס... ואיך אפשר לחסום נגיד גישה של מנועי חיפוש לJS באתר?

וThe Chosen Generl
כתבתי בהודעה הראשית, שהחישוב הוא אחרי שהאטתי את גוגל. עם הכלי של גוגל..

אז יש מצב שאיזה בוט התלבש עליך והוא רושם בuser-agent שלו שמות של מנועי חיפוש,תבדוק את הנושא בעזרת האייפי של הבוט או אם יש לך דרך אחרת תבדוק איתה
בהצלחה

daniel1971 · 03-09-09, 08:32

תראה בעבר היה לי משהו דומה וגיליתי שמישהו שמישהו העתיק תמונות מהאתר שלי
הכוונה העתיק את הקישור ישר לאתר שלו

אני בתקווה שזה הבעיה עם לא מצטער בהצלחה בהמשך

31-08-09, 13:16	# 1
Tomer Pearl חבר בקהילה מיני פרופיל תאריך הצטרפות: Feb 2008 הודעות: 170	תעבורה, ממנועי חיפוש בעיקר - שאלה. באתר שלי, www.HPortal.co.il יש בממוצע 2 גיג'ה תעבורה כל יום. כפול 30 ימים בחודש זה יוצא 60 ג'יגה תעבורה בחודש, שזה המון. ניסיתי להבין מה גורם לזה, ולבדוק אם זאת כמות הגולשים, וכנראה שלא. כי נגיד יש 1000 גולשים קבועים כל יום, ונגיד שהם מרעננים את הדף 3 פעמים, וגודל של דף ממוצע באתר שלי הוא 300KB. זה יוצא ג'יגה אחד. וגם כל זה בהגזמה פראית, כי הרי יש מטמון, בקיצור. כמות התעבורה מהגולשים הרגילים לא יכולה להגיע לכל כך הרבה. מה שגרם לי לחשוב שכנראה יש יותר מדי בוטים באתר.. חסמתי את השלושה ארבעה בוטים שמצאתי ושום דבר לא השתנה. אז עברתי לבדוק מנועי חיפוש וזה מה שגיליתי. גוגל, ויאהו, (אחראי שהאטתי את גוגל!) מרעננים כל דקה את האתר. זאת אומרת עוברים בין הדפים.. כל דקה דף אחר. לפי חישוב פשוט זה יוצא בערך 1500 ריענונים לכל אחד מהם, כל יום. נגיד 3000 ביחד, זה יוצא 90 אלף ריענונים כל חודש. שזה לא כל כך הרבה, אם העכבישים של גוגל ויאהו משתמשים במטמון, אבל אם לא - זה הרבה, הרבה מאוד. וזה עוד בלי להכליל את העכביש של מיקרוסופט (MSN + BING)... בקיצור, מישהו התנסה בכל זה? יודע משהו על הנושא ועל איך לצמצם את התעבורה למינימום? __________________ הארי פוטר · פאנפיקים · טיול לגאורגיה

31-08-09, 13:32	# 2
mlnn משתמש - היכל התהילה מיני פרופיל תאריך הצטרפות: Oct 2005 מיקום: בחדר של חני גיל: 34 הודעות: 4,417	איך חישבת את זה שהם מרעננים את הדף כל דקה? __________________ . בחורות ערומות

31-08-09, 13:49	# 3
Tomer Pearl חבר בקהילה מיני פרופיל תאריך הצטרפות: Feb 2008 הודעות: 170	מערכת שעוקבת אחרי הכניסות ממנועי חיפוש ובכל כניסה היא מוסיפה רשומה למסד נתונים.. __________________ הארי פוטר · פאנפיקים · טיול לגאורגיה

31-08-09, 14:24	# 4
AlmogBaku חבר וותיק מיני פרופיל תאריך הצטרפות: Nov 2007 מיקום: מודיעין הודעות: 1,022	תנסה את Page Speed לפיירבאג- הוא מאוד יעיל.. הוא כותב על האתר שלך כמה דברים.. למשלן שלא מוגדר caching שאפשר לצמצם וכו.. עריכה: תוסיף לאתר: PHP קוד: `session_cache_limiter('public');` Last edited by AlmogBaku; 31-08-09 at 14:39..

31-08-09, 19:29	# 5
Tomer Pearl חבר בקהילה מיני פרופיל תאריך הצטרפות: Feb 2008 הודעות: 170	תודה אלמוג, אני אעבוד עם הPage Speedואראה אם זה משנה את כמות התעבורה.. __________________ הארי פוטר · פאנפיקים · טיול לגאורגיה


	ההרשמה לפורום נפתחה - אפשרות רישום לכל אימייל (דומיינים פרטיים, gmail, הוטמייל..)!

31-08-09, 19:51	# 6
Erez \| TrustMedia.co.il עסק רשום [?] מיני פרופיל תאריך הצטרפות: Jul 2008 הודעות: 1,854	תנסה לחסום גישה לתמונות ולקבצי סקריפט של האתר שלך למנועי החיפוש,זה לא ישפיע משמעותית אבל זה ישפיע או שתחסום חלק מהבוטים של מנועי חיפוש לא פופולאריים __________________

31-08-09, 20:06	# 7
Shay Ben Moshe משתמש - היכל התהילה מיני פרופיל תאריך הצטרפות: Oct 2007 הודעות: 1,397	יש בגוגל webmasters tool יש שם אפשרות לקבוע כמה כניסות גוגל יבצע. נסה את זה. __________________ שי בן משה - בונה אתרים חותך אתרים, ומתכנת צד לקוח וצד שרת.

03-09-09, 08:32	# 10
daniel1971 חבר בקהילה מיני פרופיל תאריך הצטרפות: Sep 2008 הודעות: 57	תראה בעבר היה לי משהו דומה וגיליתי שמישהו שמישהו העתיק תמונות מהאתר שלי הכוונה העתיק את הקישור ישר לאתר שלו אני בתקווה שזה הבעיה עם לא מצטער בהצלחה בהמשך

חברים פעילים הצופים באשכול זה: 1 (0 חברים ו- 1 אורחים)