[BasicNetwork] תקלת חומרה - ריכוז הודעות

[דניאל]

משתמשים יקרים,
שוב שלום רב.

לאחר יומיים (כמעט) של נסיונות בלתי פוסקים לטיפול בתקלה בעשרות אמצעים ושיטות שונות,
לאחר יומיים של חוסר שינה,
הוחלט כי הדיסקים הקשיחים יכנסו לשחזור מלא,
הבעיה עצמה יחסית "פשוטה" אבל הטיפול בה לא כל כך פשוט,
ככה"נ, ה MBR של הדיסק הקשיח נמחק / שונה מסיבה שעדין אינה ידועה,
השרת אומנם פעל בתצורת גיבוי מלאה (Mirroring) אך כאשר דיסק אחד נפגם בצורה הזו, נפגם גם הדיסק השני.

לקוחות שבידיהם החומרים המלאים,
יפתח למענכם שרת חלופי בו תוכלו להשתמש עד אשר ישוחזר הדיסק הקשיח.

הזמינות היום היתה חלקית, דבר שאני מודע לו בהחלט,
זאת עקב שעות רצופות של דיבור בפלאפון (בין אם לקוחות ובין אם בטכנאים שונים המסייעים בעניין התיקון).

מחר (29/2) לא אהיה זמין עקב פעילות צבאית,
כל פניה יש להתקשר לדניס (0542-660099).

צוות גדול של אנשים שוקד על התקלה ואנו מקווים שהבעיה תפתר בקרוב, עם זאת, לא ניתן להגדיר כרגע צפי לסיום התקלה.
לקוחות אשר עדין לא קיבלו טלפון בנוגע לתקלה,
יעודכנו מחר, פשוט עקב העומס הרב שנוצר לא היתה האפשרות לפנות לכולם באופן אישי לדיווח על התקלה.

אני מבקש שלא להפנות שאלות באשכול זה שכן מחר לא אהיה כאן על מנת להגיב עליהן.

אנו מודעים למצב הלא נעים ומאוד לא נוח שנקלענו בו,
כולנו היינו מעדיפים שלא להיות בו,
ואנו שמחים כי הנכם מגלים הבנה רבה למצב (הרבה מעבר למה שציפינו לו).

אני מתנצל מראש ומעומק ליבי,
התקלה תסודר במהירות האפשרית.

לילה טוב,
דניאל.

[SHeDoN]

עקב התגובות שיפורטו בטח למחרת,
הנושא ננעל.

חבר פורום הציע לי רעיון - לנעול הכרזות שמנהלי עסקים יבקשו - זה רעיון לא רע, שיעלה בקרוב לדיון אצל הצוות.

לתגובות בנושא זה תוכלו לפנות אל דניס (כפי שצווין בהודעה). או להה.פ של דניאל.

בהצלחה,
אלי.

[דניאל]

מעט פירוט על המתרחש,
הדיסקים הקשיחים נמצאים כעת בשחזור מלא בחברת "טיק טק טכנולוגיות בע"מ",
ממתינים להערכה מתי העניין יסיים,

מבטיח עדכונים בהמשך,
דניאל.

[דניאל]

שוב שלום,
לאחר ימים של עבודה ושקידה על הנושא,
קיבלנו אתמול תשובה מאוד מאכזבת מחברת "טיק טק" ולכן אספר לכם בתמצות את הסיפור המלא:
נכון ליום שני ב-8:30 בבוקר בעת שהגענו לחווה על מנת להעביר את השרתים לברק013 (פרט מהשרת המדובר שהיה צריך להשאר ב012) קיבלתי טלפון מלקוח, "דניאל השרת לא עובד",
כפי שהייתי בחווה ניגשתי לבדוק מה הבעיה.
תוך זמן קצר נוכחתי לראות שהשרת לא עולה שוב לאחר ריסטרט.
ביצענו מספר בדיקות והגענו למסקנה כי ישנה בעיה עם בקר הRaid או עם אחד הדיסקים הקשיחים,
ניגשנו מהר למעבדת השירות של אינטל על מנת לבצע בדיקה מקיפה לשרת,
הבדיקה בוצעה וקיבלנו תוצאות כי "השרת תקין לחלוטין",
כמובן שבמידה והיינו מעוניינים, הדיסקים הקשיחים היו מוחלפים בו במקום (מה שכן, אז לא היינו מצליחים להוציא מתוכם את כל המידע).
לאחר יום שלם של ישיבה מול השרת בביתי עם עשרות טלפונים לאנשים רבים וטובים שעזרו בנסיון להבין את התקלה ולתקנה, הגענו למסקנה שצריך לקחת את השרת לשחזור נתונים - כלומר, את הנתונים לא נצליח לשחזר לבד.
לא הצלחנו לגלות הרבה ממה שקרה, מה שכן..הגענו למסקנה שבצורה כלשהיא ישנו כשל ב-2 הדיסקים הקשיחים אשר הורכבו במערך של Raid 1 (Mirroring).
פנינו לחברת "טיק טאק" בנושא ביום חמישי, אשר בשיחה הראשונית מהתרשמות מאיתנו נאמרו לנו עלויות שחזור והשערה של מה התקלה בדיוק.
אתמול, הסתיימה הבדיקה על הדיסקים הקשיחים וקיבלנו את התגובה העגומה כי אין אפשרות לשחזר את המידע מהדיסקים הקשיחים.
הכשל לדבריהם, הבקרים בדיסקים הקשיחים נשרפו (מה שהיה צפוי) ודבר נוסף, דיסקיות האב (או מושג דומה) נפגמו באופן חמור.

כיצד, ואיך הדבר קורה בו"ז ב-2 דיסקים קשיחים שונים?
לא מובן, לפי הערכת "טיק טאק" - קפיצות חשמל שהזיקו לדיסקים הקשיחים.

מכירים את המשפט ש"הדבר הכי לא צפוי יקרה בזמן הכי לא צפוי"?, כן...חוק מרפי במלוא עוצמתו,
אז גם הגיבויים שנעשו, ונכתבו פעם שניה ע"ג דיסק קשיח שני, גם לא ניתן להוצאה ואינם זמינים.

מדוע היו עיקובים (שנמשכים עד עכשיו) ולא כל הלקוחות (הנוגעים בדבר) יודעו בנושא?
מספר סיבות:
1. אני מודה, שיטת הפעולה שפעלנו לא היתה שיא החוכמה, כלומר, ריכזנו (כמעט) את כל הביצים בסל אחד (והכוונה לשרת כמובן, ולמערכת ניהול הלקוחות).
2. עומס טלפונים עצום, לא תמיד הצלחנו לענות לכל השיחות ויש לקוחות שעדין לא הזדמן להתקשר אליהם.

בסיכומו של דבר,
ישנו שרת נוסף שאליו הועברו גיבויים על בסיס קבוע, ייתכן ונוכל למשוך חלק מהמידע של לקוחות מסויימים ושניתן יהיה לשחזור, זה אדע רק היום בצהרים ועדכונים בנושא תקבלו בהמשך.

מה הלאה?
"מטעויות לומדים", מה שנכון נכון ו..היום לצערי, ניתן לומר כי אנחנו חכמים יותר.
היום או מחר עתיד לעלות שרת חדש (dual opteron 246) ושרת גיבוי חדש (המורכב מ-4 דיסקים קשיחים של 250GB אשר יתנו גיבוי לכל לקוח עד 7 ימים אחורה).

אני מקווה שעוד היום נסיים ליצור קשר עם כל הלקוחות,
כל לקוח שברשותו גיבוי חשבונו יפתח ברגע שהשרת החדש יגיע.

בנימה אישית,
זה המצב הכי לא נעים והמסובך שנקלענו בו עד היום,
ההרגשה הכי גרועה בעולם היא להגיד ללקוח שעבודתו נמחקה,
אני לא מאחל זאת לאף אחד, ומקווה שמרפי (חוק מרפי כמובן) לא "יכה" באותה צורה באף אחד מבעלי החברות האחרים בו.
אני מקווה שברור לכולם, שבמידה והיה סיכוי כלשהוא להציל את המידע מהדיסקים הקשיחים הדבר היה נעשה..בלי לחשוב פעמים.

דניאל.