הוסטס - פורום אחסון האתרים הגדול בישראל - תעבורה, ממנועי חיפוש בעיקר

- פורום תיכנות (https://hosts.co.il/forums/forumdisplay.php?f=14)

- - תעבורה, ממנועי חיפוש בעיקר - שאלה. (https://hosts.co.il/forums/showthread.php?t=77978)

תעבורה, ממנועי חיפוש בעיקר - שאלה.

באתר שלי, www.HPortal.co.il יש בממוצע 2 גיג'ה תעבורה כל יום. כפול 30 ימים בחודש זה יוצא 60 ג'יגה תעבורה בחודש, שזה המון.
ניסיתי להבין מה גורם לזה, ולבדוק אם זאת כמות הגולשים, וכנראה שלא. כי נגיד יש 1000 גולשים קבועים כל יום, ונגיד שהם מרעננים את הדף 3 פעמים, וגודל של דף ממוצע באתר שלי הוא 300KB. זה יוצא ג'יגה אחד. וגם כל זה בהגזמה פראית, כי הרי יש מטמון, בקיצור. כמות התעבורה מהגולשים הרגילים לא יכולה להגיע לכל כך הרבה. מה שגרם לי לחשוב שכנראה יש יותר מדי בוטים באתר.. חסמתי את השלושה ארבעה בוטים שמצאתי ושום דבר לא השתנה. אז עברתי לבדוק מנועי חיפוש וזה מה שגיליתי. גוגל, ויאהו, (אחראי שהאטתי את גוגל!) מרעננים כל דקה את האתר. זאת אומרת עוברים בין הדפים.. כל דקה דף אחר. לפי חישוב פשוט זה יוצא בערך 1500 ריענונים לכל אחד מהם, כל יום. נגיד 3000 ביחד, זה יוצא 90 אלף ריענונים כל חודש. שזה לא כל כך הרבה, אם העכבישים של גוגל ויאהו משתמשים במטמון, אבל אם לא - זה הרבה, הרבה מאוד. וזה עוד בלי להכליל את העכביש של מיקרוסופט (MSN + BING)...
בקיצור, מישהו התנסה בכל זה? יודע משהו על הנושא ועל איך לצמצם את התעבורה למינימום?

איך חישבת את זה שהם מרעננים את הדף כל דקה?

מערכת שעוקבת אחרי הכניסות ממנועי חיפוש ובכל כניסה היא מוסיפה רשומה למסד נתונים..

תנסה את Page Speed לפיירבאג- הוא מאוד יעיל..

הוא כותב על האתר שלך כמה דברים.. למשלן שלא מוגדר caching שאפשר לצמצם וכו..

עריכה:

תוסיף לאתר:

PHP קוד:


		
			
session_cache_limiter('public');

תודה אלמוג, אני אעבוד עם הPage Speedואראה אם זה משנה את כמות התעבורה..

תנסה לחסום גישה לתמונות ולקבצי סקריפט של האתר שלך למנועי החיפוש,זה לא ישפיע משמעותית אבל זה ישפיע
או שתחסום חלק מהבוטים של מנועי חיפוש לא פופולאריים

יש בגוגל webmasters tool יש שם אפשרות לקבוע כמה כניסות גוגל יבצע.
נסה את זה.

ציטוט:

נכתב במקור על ידי EAStyle (פרסם 736499)

כן, החלטתי לנסות לחסום את יאהו לכמה זמן, הקטע המוזר הוא שחסמתי אותו דרך הrobots.txt והוא לא מפסיק להיכנס... ואיך אפשר לחסום נגיד גישה של מנועי חיפוש לJS באתר?

וThe Chosen Generl
כתבתי בהודעה הראשית, שהחישוב הוא אחרי שהאטתי את גוגל. עם הכלי של גוגל..

ציטוט:

נכתב במקור על ידי Tomer Pearl (פרסם 736510)

אז יש מצב שאיזה בוט התלבש עליך והוא רושם בuser-agent שלו שמות של מנועי חיפוש,תבדוק את הנושא בעזרת האייפי של הבוט או אם יש לך דרך אחרת תבדוק איתה
בהצלחה

תראה בעבר היה לי משהו דומה וגיליתי שמישהו שמישהו העתיק תמונות מהאתר שלי
הכוונה העתיק את הקישור ישר לאתר שלו

אני בתקווה שזה הבעיה עם לא מצטער בהצלחה בהמשך