עומס על שרת - מה דעתכם?

[gillllll]

לאחרונה יש לי אתר עם הרבה מאד כניסות כמה אלפים ביום ...
הבעיה היא כזו אני יושב על VPS בחו"ל והם טוענים בפניי כי יש לי בעייה בקוד שגורם לטעינה גובהה של ה CPU .
עכשיו השאלה היא כזו , מה בקוד יכול לגרום לטעינות גבוהות? כלומר בתור מתכנת מה אני אמור לחפש?

האם לא הגיוני שכאשר יש כמות גדולה של כניסות תיהיה טעינה גבוהה?
האם אני צריך לשדרג את הVPS שלי שכרגע הוא עם מעבד אחד ו1Gנ RAM ...?

(דרך אגב אין לי בעיה של כמות זיכרון דוקא מבחינת זיכרון יש לי עוד פנוי ואני לא מנצל את כל ה 1 GB . ) פשוט המעבד עובד כמו ניגר על 60-80% ניצולת... ולפעמים גם יותר.

שדרוג הבא מבחינתי יהיה לעבור ל2 ליבות - אבל אז זה לא אומר שעכשיו פתאום התהליך של ה IIS(שצורך את כל המשאבים) יתחלק על שני המעבדים ...לכן אני לא יודע אם זה באמת כדאי... וזה אכן מקרב אותי לחשוב שבאמת יש כאן בעיה של קוד.
אני טועה?

מה דעתכם?
דרך אגב אני עובד על ASP ... אומנם ישן אבל עובד בגבורה, אולי כדאי לעבור ל PHP עם האתר אתם חושבים שהוא יתמודד טוב יותר עם קוד לא איכותי?

[choko]

תנסה לייעל את הקוד שלך כמה שיותר.
http://www.maroms.com/blog/?article=11 תוצאה ראשונה בחיפוש בגוגל.
תחפש איך לייעל את הקוד , איך לצרוך פחות משאבים וכו'. לא הגיוני שכמה אלפי כניסות יטחנו את המעבד ? מה יש לך על האתר ?

[gillllll]

האמת שממש לא הרבה אבל אני מיישם קוד של חיבור לפייסבוק שקשור לMD5 ופיענוח של JSON וכאלה דברים שASP לא הכי חזק בהם ואני חושד שהם עושים את בעיות מצד שני אני צריך את הדברים האלה - אז אני קצת תקוע...
בגלל זה חשבתי לעבור ל PHP השאלה אם יש דברים שאתם יודעים עליהם שנפוצים וגורמים לעיבוד יתר

[בניה]

אני זוכר מפעם שתמיד אנשים לא היו סוגרים כמו שצריך את האובקטים של החיבור למסד נתונים ואז הם לא היו מנוקים כמו שצריך וזה היה טוחן את השרת.

http://www.aspwebpro.com/tutorials/a...ctionclose.asp

[Erez | TrustMedia.co.il]

קרא לי משהו דומה, התאחסנתי באיחסון שיתופי והשביתו לי את האתר בטענה שאני גורם לעומס על השרת. יצרתי איתם קשר והם אמרו לי ללכת ללוגים של mysql_slow_queries ושם יש לוגים של כל השאילתות שלקחו זמן רב לרוץ, ואז פשוט צריך לסדר את העיניין. הלוגים האלה נמצאים בתיקייה tmp בcpanel.
תבדוק אם יש לך משהו כזה, ואם כן אז תתקן את השאילתות וזה אמור לסדר את הבעיה. אלא אם כן בקוד עצמו יש משהו שגורם לעומס, אז תחפש לולאות אינסופיות/ממש ארוכות.

[IgalSt]

אני עובד שנים עם ASP קלאסי, וזו שפה מעולה אם אתה מכיר אותה טוב ויודע להתאים את עצמך לעומסים גבוהים.
עבדתי עם ASP קלאסי על Showme.co.il, וזה אתר שהגיע להרבה הרבה הרבה יותר מכמה אלפים ביום. מטבע הדברים התעסקתי המון עם שיפור ביצועים (עם הרבה עזרה מ-SPD בצד של ה-sysadmins).

כמו שארז אמר, אכן כדאי לבדוק לוג של שאילתות איתיות. בד"כ הלוג הזה לא מופעל ב-mysql ועל כן יש צורך להפעיל אותו (הפעלה או כיבוי של הלוג דורשת ריסטארט ל-mysql). אל תשכח לכבות את הלוג אחרי כמה זמן כי עצם כתיבתו גוזלת משאבים.

כמו שהוזכר ע"י בניה, סגירת חיבור ל-DB וכן ניכיון זיכרון (set obj = nothing) מאוד חשוב לעשות.

אינדסקים בטבלאות שלך ב-DB: אם אין אז חייבים לעשות. אם יש, אז לוודא שהשאילתות שלך משתמשות בהם. תעשה explain לפני השאילתה ותריץ אותה בכלי לניהול ה-DB שלך.

קאשינג של מידע סטאטי: אם לדוגמה כל עמוד אתה שולף את אותה רשימת קטגוריות לדוגמה, אין שום סיבה שבעולם שלא תכניס אותה למשתנה application ותעדכן את המידע אחת ל-24 שעות.
אם יש לך בניה של תפריט רקורסיבי לדוגמה, אז אפשר לשמור את ה-HTML עצמו בתוך application על מנת לחסוך הבניה שלו. אגב, לחילופין ניתן לשקול לשמור את התוכן כקובץ HTML על הדיסק (שלפי התאור שלך לא עמוס כלל) ולהכליל את התוכן של הקובץ באמצעות include פשוט.

לעבוד עם insert... on duplicate key update על מנת לחסוך שאילתה של בדיקה האם יש רשומה ואם לא אז להוסיף.

יש עוד הרבה מאוד דברים שניתן לעשות.
עם זאת, לפעמים האפליקציה כבדה מדיי ואין מנוס אלא לשדרג את החומרה.

בהצלחה

[gillllll]

תודה על התשובות ...
גם אני עובד הרבה שנים עם ASP קלאסי - לצערי אני מבין לאט לאט שפג תוקפה כמעט מהעולם... פשוט כי היא לא נתמכת ולא מטפלים בבעיות שקשורות בה.
בנוגע להתחברויות אכן יש את הבעיה של החיבורים ואני מקפיד ובדקתי שוב את כל הסגירות - אז שם לא הבעיה.

ארז ויגאל, לגבי mysql_slow_queries זה ממש מעניין - באמת הייתי רוצה לנסות להפעיל את הסיפור הזה אבל אני יושב על IIS כלומר מערכת הפעלה WINDOWS עם MYSQL לוינדוס - איך מפעילים את האופציה הזו? איך מכבים אותה? ואיך מפעילים מחדש את ה MYSQL (אתה מתכוון למצוא את ה SERVICE שקשור ל MYSQL ולעשות לו RESTART דרך SERVICES)?

לגבי אינדקסים - כבר הוכנסו והתאמתי אותם במיוחד לשאילתות החיפוש - אם כי אני לא מכיר את " explain לפני השאילתה ותריץ אותה בכלי לניהול ה-DB שלך" - מותקן לי MYPHPADMIN איך אני עושה את ה EXPLAIN הזה ומה אני אמור לראות שם? (אני יודע להריץ שאילתות ב MYPHPADMIN אבל לא ידעתי שאפשר לראות שם אם השאילתה משתמשת באינדקס או לא...איך רואים את זה)

ואם כבר מדברים על שאילתות - מה לדעתכם עדיף שימוש ב JOIN או פירוק לשתי שאילתות שיתבצעו אחת אחרי השני כתלות אחת בשניה. כלומר JOIN עצמו אני ודע שנחשב ליותר מעמיס מ SELECT רגיל בלי JOIN , אבל מצד שני אי שימוש בו יגרור לי בקוד שתי פניות לדטה בייס של SELECT רגיל ללא JOIN . בהקשר של עומסים מה עדיף?

לגבי קאשינג - באתר הספציפי הזה קאשינג לא נראה לי יעשה את ההבדל הגדול כיון שזה לא אתר מורכב מידי מבחינת שאילתות יש רק שאילתות הצגה חוץ מאולי עדכון שמתבצע על ידי מנהלים וזה אולי 100 שאילתות כאלה ביום... ומה זה על האלפים ואולי עשרות אלפים שיש בשעה. ולמשל קטגוריות - האם זה באמת קריטי במקרה שיש לי טבלת קטגוריות עם 20 קטגוריות שזה יציג אותם בלולאה בכל פעם. (על זה יקום ויפול עיבוד של שרת?)
ובהקשר הזה ושל שדרוג השרת - השדרוג הבא שלי מבחינת ה VPS זה הוספה של זיכרון ומעבד - העניין הוא שמדובר בקובץ של תהליך אחד w3wp.exe (ISS Application Pool Process.) והוא שזולל את ה CPU ולכן אם אם אוסיף מעבד לא נראה לי שהתהליך הזה יתפצל לשניים... תקנו אותי אם אני טועה... אז אין טעם .

לגבי הבעיות האחרות שיכולות להיות - הנקודת תורפה שאני מזהה בקוד הוא הקוד ששייך להתחברות לפייסבוק - נראה לי שאני הבן אדם היחיד בישראל שעשה את זה ב ASP קלאסי - ולא בשביל להתלהב אלא פשוט כי אני (ואתה יגאל) אולי בין היחידים שעוד משתמשים בשפה הזו...
הקוד כמובן לא יצירה שלי אלא בנוי על כל מיני מדריכים מהאינטרנט ובעיקר איזה מדריך ספציפי שאיתו עבדתי (אם מישהו מעונין אני אמצא אותו ואוסיף לאשכול) אבל יש שם פונקציות שיש מצב ועושות לא טוב למעבד ובכלליות לא עושות טוב כאשר משתמשים בהם הרבה במיוחד בשפה כמו ישנה כמו ASP.
ולמה אני מתכוון - בגלל כמות הגולשים הגדולה יש שימוש של הקובץ התחברות לפייסבוק ב MSXML ה DLL הזה פשוט קורס לי כל כמה ימים משהו שלא קרה באתרים קטנים.

הארור שקיבלתי:

msxml6.dll error '80072efd'

A connection with the server could not be established

/fb_app.asp, line 176

שורה 176 היא קשורה לקוד הבא:

    Set objHTTP = CreateObject("MSXML2.ServerXMLHTTP.6.0")
    objHTTP.Open "GET", strURL, False
    objHTTP.Send
    strData = objHTTP.ResponseText

קצת חפרתי אבל מתפתח כאן דיון מעניין אז הרגשתי צורך להשקיע

[IgalSt]

באשר ל-Explain:
תראה בתמונה המצורפת איך אני מריץ שאילתה ומה ה-explain נותן לי. במקרה הזה הוא מציג איזה אינדקסים אפשרים ובמה הוא משתמש (במקרה הזה, בגלל שיש כמה רשומות בודדות הוא לא משתמש באינדקס אלא ב-where - וזה נכתב בצד ימין).
הכי גרוע שיהיה לך using filesort או using temp table (או ניסוח דומה, הניסוח שלהם מסביר את עצמם)


כתבת שאתה עשית אינדקס לשאילתות של החיפוש. אני לא יודע אם התכוונת שיש אינדקסים רק לשאילתות שמבצעות חיפוש ב-DB, או לכל השאילתות העיקריות שמבצעות SELECT מה-DB. הכוונה שלי היא שצריך אינדקס לכל השאילתות שלך (אם יש איזה עמוד שיש בו שאילתה שרק מנהל פעם בה נכנס אליה, אז זה סתם מיותר, אבל בעמודים העיקרים שגולשים בהם חובה).

אני לא מסכים איתך לגבי זה שאין מקום ל-ASP בעולם כיום.
אומנם היא לא מקבלת עדכונים, אבל אפשר לפתור הרבה מאוד מהבעיות שיש (כי הן כבר נפתרו במהלך השנים והיופי של שפה וותיקה זה שמישהו כבר נתקבל במצב המוזר שלך ומצא פתרון).

mysql_slow_queries מופעל באמצעות פאנל הניהול של ה-mysql על השרת שלך. בדיוק כמו על המחשב הלוקאלי שלך, אפשר להכנס ל-mysql administrator (או משהו דומה). אתה יכול גם לפנות לחברה שמנהלת את השרת שלך ולבקש מהם להפעיל את הלוג.

בקשר ל-JOIN, כהגדרה עדיף לעשות שאילתות עם JOIN מאשר פעמיים SELECT.
ל-mysql יש יכולת לייעל שאילתות כאלה והוא בנוי לעשות דברים כאלה. תאורתית אתה לא אמור להוסיף לוגיקה באפליקציה שלך על מנת לשלוף מידע מה-DB שלך.
אבל! כל מקרה לגופו. אם אתה לא מצליח לייעל שאילתה מסויימת והיא רצה יותר מדיי זמן, ומנגד אתה רואה שאם תחלק אותה ל-2 ותוסיף לוגיקה באפליקציה שלך תשפר משמעותית ביצועים, אז ייתכן מאוד שכדאי לעשות את זה.
כמו כן הייתי שוקל לבדוק איך אפשר לשכתב את השאילתה - בכלל, להסתכל על המצב מלמעלה ולחשוב מחוץ לקופסא.

באשר לשאלה לגבי הקאשינג, והאם זה כדאי? אין שום סיבה ללכת ל-DB עבור *כל* גולש ועבור *כל* עמוד שהוא צופה בו ולשלוף רשימת קטגוריות שהיא בד"כ סטאטית מאוד.
נכון שזה משפר ביצועים קצת מאוד, אבל בכל זאת, אם ה-RAM שלך פנוי, למה לא להשתמש בו? שליפה ממנוה הרבה הרבה הרבה יותר מהירה מאשר מ-DB.

גם הרשימה של מה שיש לך בדף הבית (כתבות, שאלות, משתמשים פעילים וכו') אתה יכול לעשות להן קאשינג. רק שתשלוף את המידע לא אחת ל-24 שעות, אלא אחת ל-7-10 דקות לדוגמה. למה לא?
תחשוב על כמה שאילתות אתה חוסך פה.

השגיאה של ההתממשקות לפייסובק:
השתמשתי כבסיס בדוגמה הזאת לצורך המימוש.
תנסה לתפוס את השגיאה כאשר קורס לך ה-DLL.
אתה יודע, on error resume next ואח"כ לבדוק אם יש לך שגיאה או לא. אם קורס לך, תנסה להפעיל מחדש את הפניה.
גם חשוש לממש timeout לבקשה שלך לפייסבוק כך שאם אין תשובה אז לבטל את הפניה.
כמו כן יש כמה גריסאות ל-DLL הזה, תנסה להחליף בינהן.

אתה יכול לבקש מהחברה שמנהלת את השרת שלך לעשות משימה מתוזמנת שתעשה recycle כל שעה-שעתיים ל-application poll של האתר. ככה תקטין את הגודל של w3wp.exe
הפעולה אורכת כמה שניות בד"כ אבל בזמן הזה אי אפשר לגלוש באתר.

[gillllll]

יגאל תודה רבה על המידע המועיל.
נכון עשיתי לכל השאילתות כדי שה WHERE לא יעבוד יותר מידי קשה ...
בקשר ל explain - נחמד זה באמת יעזור לבדוק אם השאילתות עובדות על בסיס האינדקסים כמו שצריך.

בקשר ל ASP ולקאשינג וכו' תמיד עניין אותי איפה המגבלה של השפה כלומר בטוח שישנה מגבלה של כמות כניסות לדף שתגרום לDLL הקטן שמפעיל את Classic ASP לקרוס או להיות משמעותית יותר איטי...
כך שזה יחייב אותי לפתוח עוד שרת שכאשר יש כמות משתמשים גבוהה הגולשים יופנו אליו או משהו בסגנון...
והאם בPHP המגבלה הזו בהכרח גדולה יותר? איפה היא עומדת פחות או יותר - כלומר בטח יש הערכות למשל שכשאר באים למתכנת ואומרים לו יהיו לי 50 אלף משתמשים ביום הוא אומר וואלה כאן צריך כבר 2 סרברים...נניח...אז השאלה היא אם באמת יש הערכות מספריות כאלה ?

לגבי ההתממשקות לפייסבוק בדיוק בדוגמא הזו השתמשתי של לארי הוא עשה שם עבודה ממש יפה של לרכז את כל הדברים שזקוקים לחיבור -
ובאמת הצורה שבה מתבצעת ההתממשקות מאד בעיתיית ולא נעשית על פי ממשק ההתחברות החדש- נראה לי שאפילו פייסבוק מגבילים את כמות הפניות באמצעות הממשק הזה....
ולדעתי כל המימוש של ההתחברות לפייסבוק הזו מאד מעמיס על המערכת , אתה לא חושב? הייתי שמח לקחת אתר ולהריץ אותו בלי ההתתמשקות ועם ההתממשקות ולראות את ההבדלים ב CPU...
גם ניסיתי להכניס TIMEOUT אני פשוט לא הצלחתי לממש את זה ...
ניסיתי לעשות את הTIMEOUT ב JS שמרענן את הדף בגלל הבעיה הזו: (http://www.hosts.co.il/forums/showthread.php?t=91128)
לא ממש הצלחתי... (דרך אגב אם אתה משתמש בקוד הזה, לא שמת לב לבעיה הזו?)
האם הכנסת TIMOUT בקוד ASP אם כן אני אשמח לשמוע איפה ואיך אני מבצע את הפקודה הזו...

ניסיתי להתחקות אחרי הבעיה עם on error... אבל בלתי אפשרי לא מצאתי חוקיות. מלבד העובדה שזה התחיל להופיע כשהחלו עומסים של משתמשים על השרת ובעצם על הקוד של ההתחברות הזה...
והקוד הזה דרך אגב הוא מסוג הקודים החדשים שאין להם תמיכה כיון שאלו טכנולוגיות חדשות וכיון שהשפה כבר לא נתמכת אין לזה תיעוד מסודר.
אני זוכר שעוד לפני המדריך רציתי לממש התחברות שכזו ולא היה שמץ של מידע שעזר לממש התחברות שכזו.

לגבי recycle כל שעה-שעתיים ל-application poll של האתר , שמעתי על הפתרון הזה אבל אני לא בטוח שזה בריא כלומר זה לא פותר את הבעיה שממשיכה להתקיים. אבל כמוצא אחרון אני בהחלט שוקל את האפשרות.

[IgalSt]

היי

אני בדיוק מתקין את המחשב החדש שלי, אז אין לי גישה לקוד שלי עדיין. ברגע שיהיה אני אראה לך דוגמה לאיך לממש timeout לביטול הפניה (זה לא לפייסבוק כי מימשתי את זה מזמן עבור SHOWME כי עשינו הרבה התממשקויות כאלה, אבל זה אותו הדבר בערך).
TIMEOUT ב-JS ממש לא הגיוני פה. כי אתה סתם תעמיס את השרת שלך בפניות חדשות כשהוא עדיין לא הספיק להחזיר את הישנות.

כשאמרתי on error resume next התכוונתי שתעשה משהו כזה:

function getFromFB(ByVal i)
  on error resume next
  if i>3 then exit function
  i = i+1
  err.clear()
  'your call to facebook
  if err.number>0 then call getFromFB(i)
end function

recycle אומנם נשמע כדרך לא אלגנטית לעקוף את הבעיה, אבל זו גם אפשרות. בשואומי היינו עושים את זה הרבה ודניאל מ-SPD יעיד על כך

שאלת איפה עובר הגבול?
קשה לומר. כל אפליקציה וצווארי הבקבוק שלה.
אני יכול לספר על שואומי, שתחילה היית לנו בעיה חמורה עם ה-I/O כי מדובר בסופו של דבר באתר תמונות וצריך להגיש אותן לגולשים כל הזמן. אחרי שסידרנו את הבעיה באמצעות סידור נכון של החומרה הקיימת ובשלב מאוחר יותר רכישת fileserver, הופיע בעיה אחרת.
הבעיה החדשה היית ששרת ה-MYSQL (שהיה על מכונה ייעודית על WINDOWS) לא עמד בעומס ולקח לו יותר מדיי זמן להחזיר תשובות. בזמן שהגולש המתין לעמוד שיעלה הוא היה לוחץ כמה פעמים על הקישור. כל פעם שהוא לחץ על הקישור מה שקרה שהגיע פניה חדשה ל-IIS והוא שוב פנה ל-MYSQL עבור תשובה. במקביל חזרה התשובה מה-MYSQL עבור הפניה הראשונה, אבל הגולש כבר "לא מעוניין בה" כי הוא עשה כבר בקשה חדשה.
עשיתי המון עבודה בייעול השאילתות, קאשינג וכו' על מנת לצמצם את העומסים כמה שאפשר. בסופו של דבר בעצה מעולה מ-SPD הם המליצו לעשות רוטציה מסויימת בין המכונות הקיימות ועל המכונה החזקה ביותר להתקין לינוקס ועליו את ה-MYSQL. זה שיפר משמעותית ביצועים.
בסופו של דבר היינו על שלושה שרתי WEB עם load balancer עבורם ושרת MYSQL לינוקסי אחד. כמו כן היה שרת קבצים ייעודי שהגיש את כל התמונות.

קצת סטיתי מהשאלה שלך, אבל רציתי להדגים לך איך כל פעם כשאתה מסדר בעיה אחת אחרת מופיע. חשוב להתייעץ עם החברה שמנהלת את השרתים. הם יוכלו להגיע לך איפה נטחן השרת שלך: הזיכרון, הדיסקים, ה-CPU וכו' ולשמוע להמלצות שלהם. כמובן שאתה חייב לסמוך עליהם.
לצערי, לפני שהעברתי את ניהול השרתים של שואומי ל-SPD, היינו בחברה מאוד מוכרת שמנהלת המון שרתים של חברות גדולות, אבל הם פשוט לא טובים. אני מדבר על GNS, ומי שמכיר אותם מצטער על כך.

אם אתה מעוניין אתה מוזמן לצור איתי קשר בסקייפ (IgalSt).