RackBlogger

… oder besser gute Nacht? Das ist jetzt irgendwie eine blöde Zeit - zu früh (bzw. zu müde) zum durcharbeiten, aber auch fast zu spät um nochmal schlafen zu gehen.

Ich komme eben aus dem Rechenzentrum, zu dem ich gegen 01:30 aufgebrochen bin. Von einem älteren Server hat sich das Netzteil verabschiedet. Für mich war es sogar das erste Mal, dass es so ein Netzteil (Zippy) im laufenden Betrieb zerlegt hat.

Wo ich dann eh schon mal am Umbauen war, habe ich gleich noch ein paar andere Wartungsarbeiten mit erledigt, habe auf dem Heimweg noch Frühstück beim Bäcker geholt, und muss gerade unserer Katze klarmachen dass es für sie noch nicht Zeit für’s Frühstück ist…

Corpus delicti

So das Fazit eines Mitarbeiters von Sun, der in einer Video-Demonstration zeigt wie die Festplatten in einem größeren Storagesystem empfindlich auf Vibrationen durch Schall (!) reagieren. Unbedingt mal anschauen!

Es ist also wichtig, auch bei größten Problemen vor den Racks die Ruhe zu bewahren - sonst wird alles nur noch schlimmer!

Der einzige Lohn, wenn man um diese Zeit von einer nächtlichen Wartungsarbeit aus dem Rechenzentrum nach Hause kommt: absolut frische Backwaren!

Auf meinem Heimweg liegt zufällig die Backhalle einer kleineren Bäckereikette - über und über voller leckerer Sachen, mit so einer Art “Fabrikverkauf”. Leider hatte ich nicht genug Geld dabei, um meiner Frau auch gleich was für’s Frühstück mitzubringen…

In dem Rechenzentrum in welchem unsere meisten Server stehen wurde die Kapazität und Redundanz der USV-Anlage erweitert. Stolz wurde dann heute in einer E-Mail mitgeteilt, daß die Stromverfügbarkeit somit “99,991% im Jahresmittel” entspricht.

Also - ich hätte den Kunden ja an deren Stelle lieber geschrieben, daß die Stromverfügbarkeit bei mindestens 99,991% p.A. liegt - sonst stellt sich die Frage, wann die den Strom abschalten nur um die fehlenden 0,009% zum Jahresende hin zu bekommen, falls es noch keinen Stromausfall gab.

Der Umzug hat sich absolut gelohnt, wie folgender Temperatur-Graph beweist:

Die Abluft im neuen Rack ist rund 10 Grad kühler!

Auch den Rechnern sieht man das an:

Da freuen sich die Chips aber über diese schöne Abkühlung.

So, mal live auf dem Rechenzentrum…
Die Umbauarbeiten sind quasi abgeschlossen, nun muss ich nur noch aufräumen (sprich: mit Kabelbindern dem Kabelsalat auf die Pelle rücken, dann alles schön beschriften, dann dokumentieren, dann fertig. )

Jetzt gibt’s aber erstmal Cola-Pause.

… oder doch besser Kaffee?

In der Nacht vom kommenden Samstag auf Sonntag sind Wartungsarbeiten angesetzt - aus verschiedenen technischen Gründen muss ein Rack innerhalb des Rechenzentrums umziehen. Das heißt: Aufstehen um 02:00, geplanter Arbeitsbeginn um 03:00. Da ich am Sonntag aber noch tagsüber auf eine Feier gehen möchte werde ich also am Samstag rechtzeitig schlafen gehen statt die Nacht durchzuarbeiten. Außerdem hat das den Vorteil, daß man im Falle unerwarteter Probleme morgens noch fit ist.

Besonders nett fand ich vorab die Kommunikation mit dem RZ. In einer meiner Mails schrieb ich:

[…] müsste dann lediglich irgendwann
der Uplink am Router entsprechend umgesteckt werden (vom alten
aufs neue Rack). Und vielleicht könnte dann jemand einen Kaffee
aufsetzen

Die Antwort:

Hallo Herr Keppler,

der Termin vom 14. auf den 15. Juli um 03:00 Uhr nachts geht
von unserer Seite aus in Ordnung.

Das Rack wird vorbereitet, […]

Kaffee ist da

Perfekt - dann kann ja nichts mehr schief gehen.

Um 03:31 kam eine kurze aber schmerzvolle SMS: ein komplettes Rack ist nicht erreichbar. Schlaftrunken habe ich noch 5 Minuten abgewartet, ob Nagios die Sache sich nicht doch nochmal überlegt (Fehlmessung), aber dem war leider nicht.

Also Techniker im RZ angerufen (das sind die Momente in denen ich die 24/7-Rufbereitschaft vor Ort schätze) und gebeten einen Blick ins Rack zu werfen. Diagnose: Schranksicherung draußen

Der Techniker hat den Strom anschließend wieder eingeschalten, und gegen 03:45 waren fast alle Systeme wieder da. Fast. Ein Rechner blieb stumm - aller Voraussicht nach hat’s bei dem das Netzteil zerschossen und bei der Gelegenheit die Sicherung geworfen. Als klar war daß ein echter Hardwaredefekt vorliegt habe ich dem Techniker Bescheid gegeben daß ich dann wohl in Kürze mal vorbeischauen werde. Genial fand ich dann dessen Kommentar: “Dann setz’ ich schonmal ‘nen Kaffee auf.”

Also umgezogen, ins Auto gesetzt und losgefahren. Natürlich hat es dann auch gleich zu regnen begonnen, aber eine runde halbe Stunde später stand ich schon vor dem Rack. Die Reparatur gestaltete sich etwas unschön - für dieses alte Board hatte ich kein passendes Ersatznetzteil da, daher habe ich spontan die Platten & Controller in einen komplett neuen Server umgebaut und die Gelegenheit somit gleich für ein Hardware-Upgrade genutzt.

Zum Abschluß gab’s dann noch einen Kaffee (kurz nach Sonnenaufgang).