ניצול דיסק מגיע ל-100%
 

היי,

יש לי שרת עם HDD שבשעות השיא מגיע ל-100% utilization ב-iostat, כתוצאה יש הרבה Load וה-CPU מראה אחוזים גבוהים של iowait.

ה-HDD הנוכחי מגיע ל-100% כאשר אני מגיע ל-13MB/s

יש לכם רעיון יצירתי מה אפשר לעשות על מנת לשפר את הביצועים של ה-HDD הנוכחי?

החלפה ל-SSD אינה פיתרון קביל כי אני צריך הרבה storage.

תודה

1) תקנה דיסק קשיח חדש יותר מהיר
2) תשתמש בRAID
3) תשפר את הביצועים של האפליקציה שרצה

האם יש אפשרות לחלק את העבודה בין 2 דיסקים ?
נניח את כל ה-SQL להפריד לדיסק אחר לגמרי

http://he.wikipedia.org/wiki/RAID

מה שאתה צריך זה Raid 0 שמחלק את העומס בין הדיסקים

עם איזה דיסקים אתה עובד היום?
אולי אתה יכול להעביר חלק מהכתיבה לRAM במקום לדיסק? (Memcache לדוגמא)

איזה שרת זה ?
יש לך בקר RAID ?
אתה יוכל לחבר לו עוד דיסקים - עם כן המלצה שלי להוסיף עוד דיסק לגבות את כל השרת לפרמט אותו להוסיף אותו דיסק זהה לזה לעשות RAID 0 למהירות זה שניהם כאחד
עם היה לך SAS או SSD זה היה ממש מהיר פי 3 SAS ופי 8-10 SSD אבל עם אתה צריך STORAGE זה לא הפתרון יש דיסקים של SAS של 600GB גם של יותר גם שתדע ולא פשוטים

מה השרת מריץ? אפליקציה ייעודית? אירוח אתרים?
איזה HDD?
Sata? SAS? SCSI?
כמה זה הרבה Storage? אתה צריך את גיבוי ל-Storage?

תודה על התגובות.

רוב הפעולות שמתבצעות זה קריאה מהדיסק. יש עליו רק קבצים רגילים, אין שם DB או קבצים של לינוקס.
אין לי Raid Contoller אז כל פתרונות ה-RAID שהוצעו כאן לא רלוונטיות
אני בשרת משלי, אפליקציה ייעודית. ה-HDD מחובר ב-Sata II.
הוספת HD תקל על הבעיה משמעותית אם כי אני מניח שגם מה-HD הנוסף אני ארצה לקרוא כמויות גדולות של חומר.
לגבי כמות Storage אני צריך משהו כמו 4TB בכל השרת (לפחות בינתיים). לגבי גיבוי - כרגע אין. אולי בעתיד.

אתה בעצם מנסה לגרום לפיאט להפוך למרצדס בלי להחליף מנוע?
:)

אם הדיסק שלך עושה טראש כמו שאתה אומר, חד משמעית הוא לא מספיק מהיר כדי לתמוך באופי האפליקציה שלך.

איזה FS יש שם? אני מניח שזה EXT3 ?, אולי הוא לא מפורמט בצורה מתאימה...

לא הבנתי למה אתה אומר ש"הדיסק שלך עושה טראש".
אכן יש שם ext3. האם אפשר להעביר דיסק ל-ext4 כשיש עליו מידע?

כן, תעשה גיבוי למידע לפני.

100% שימוש = טראש בלקסיקון של מהנדסי לינוקס, ובעברית זה אומר שהעמסת יותר ממה שהמכונה יודעת פיזית לספק.

אולי יעזור לך EXT4, ואולי יתאים לך בכלל XFS , זה תלוי בסוג הקבצים וסוג הקריאות שאתה מבצע לדיסק.
אבל זה לא ישנה את העובדה שצוואר הבקבוק שלך על פניו , הוא פיזי.

רוב הקריאות מתבצעות באמצעות xsendfile ולדעתי רוב הקריאות שמעמיסות נובעות מקריאות של קבצים גדולים (איזור ה-700 מגה)
חשבתי גם אולי על לשנות את ה-Block Size, מישהו התנסה עם זה?

זרקו לך כאן המון שאלות ועצות, להתייחס לחלקן בתשובות של כן/ לא זה לא ממש ממצה את הכוונה שמאחורי השאלות הללו.
בכל אופן, לפי מה שאתה מתאר עד עכשיו - לא משנה עד כמה תנסה וכמה אתה רוצה, לא תגיע עם התצורה הקיימת רחוק מדי.
אולי תצליח לדחוף את הדיסק קצת יותר, אולי תצליח לשפר את המהירות קצת יותר, לא יותר מדי ולא לאורך זמן.

אני מסכים שלהשקיע בבקר רייד ו/או לרכוש דיסקים חדשים ומהירים יותר ו/או להקים תצורות מתאימות יותר ו/או לעשות כל פעולה כזו או אחרת שדורשת שינויים והשקעה כספית זה דבר שלא בא ברגל ולפעמים לא הכי נוח.
עושה רושם שאתה די מבין את הסיטואציה ואתה מבין את הבעיה ואת הפתרונות הקיימים - תעשה עם עצמך חושבים ותעשה את השיקולים שלך ותראה מה אתה כן יכול לעשות כדי לשפר את המצב.

אני מבין שמדובר בשירות העלאת קבצים, תראה מה אתה יכול לעשות מבחינת האפליקציה כדי להמעיט את הגישה הישירה לדיסק,
בין אם מדובר באחסון ועבודה מול ה- RAM, בין אם מדובר בחלוקה העומס על גבי דיסקים שונים (בתצורת רייד או בדרך אחרת) ובין אם מדובר בעבודה מול יחידת סטורג' חיצונית ופתרונות מתקדמים נוספים.
אתה צריך להבין שכשגולש מוריד ממך קובץ מסויים במהירות של 1mb לשנייה לצורך העניין, המערכת למעשה קוראת מהדיסק גם כן במהירות של 1mb לשנייה (פחות או יותר כמובן), ככה שאם אתה רוצה להגיע לניצול של רוחב פס של 100mb/s, אתה צריך שהתשתית שלך תדע באמת לקרוא מידע במהירות של 100mb/s וכן הלאה.
בהצלחה.