Archiv der Kategorie 'Neulich im Rechenzentrum'

Morgenstund’ hat Gold im Mund

Freitag, den 13. Juli 2007

… oder doch besser Kaffee? ;-)

In der Nacht vom kommenden Samstag auf Sonntag sind Wartungsarbeiten angesetzt - aus verschiedenen technischen Gründen muss ein Rack innerhalb des Rechenzentrums umziehen. Das heißt: Aufstehen um 02:00, geplanter Arbeitsbeginn um 03:00. Da ich am Sonntag aber noch tagsüber auf eine Feier gehen möchte werde ich also am Samstag rechtzeitig schlafen gehen statt die Nacht durchzuarbeiten. Außerdem hat das den Vorteil, daß man im Falle unerwarteter Probleme morgens noch fit ist. :-)

Besonders nett fand ich vorab die Kommunikation mit dem RZ. In einer meiner Mails schrieb ich:

[…] müsste dann lediglich irgendwann
der Uplink am Router entsprechend umgesteckt werden (vom alten
aufs neue Rack). Und vielleicht könnte dann jemand einen Kaffee
aufsetzen ;-)

Die Antwort:

Hallo Herr Keppler,

der Termin vom 14. auf den 15. Juli um 03:00 Uhr nachts geht
von unserer Seite aus in Ordnung.

Das Rack wird vorbereitet, […]

Kaffee ist da :-)

Perfekt - dann kann ja nichts mehr schief gehen. ;-)

Guten Morgen, liebe Sorgen…

Samstag, den 12. Mai 2007

Um 03:31 kam eine kurze aber schmerzvolle SMS: ein komplettes Rack ist nicht erreichbar. Schlaftrunken habe ich noch 5 Minuten abgewartet, ob Nagios die Sache sich nicht doch nochmal überlegt (Fehlmessung), aber dem war leider nicht. :-(

Also Techniker im RZ angerufen (das sind die Momente in denen ich die 24/7-Rufbereitschaft vor Ort schätze) und gebeten einen Blick ins Rack zu werfen. Diagnose: Schranksicherung draußen :shock:

Der Techniker hat den Strom anschließend wieder eingeschalten, und gegen 03:45 waren fast alle Systeme wieder da. Fast. Ein Rechner blieb stumm - aller Voraussicht nach hat’s bei dem das Netzteil zerschossen und bei der Gelegenheit die Sicherung geworfen. Als klar war daß ein echter Hardwaredefekt vorliegt habe ich dem Techniker Bescheid gegeben daß ich dann wohl in Kürze mal vorbeischauen werde. Genial fand ich dann dessen Kommentar: “Dann setz’ ich schonmal ‘nen Kaffee auf.” :mrgreen:

Also umgezogen, ins Auto gesetzt und losgefahren. Natürlich hat es dann auch gleich zu regnen begonnen, aber eine runde halbe Stunde später stand ich schon vor dem Rack. Die Reparatur gestaltete sich etwas unschön - für dieses alte Board hatte ich kein passendes Ersatznetzteil da, daher habe ich spontan die Platten & Controller in einen komplett neuen Server umgebaut und die Gelegenheit somit gleich für ein Hardware-Upgrade genutzt.

Zum Abschluß gab’s dann noch einen Kaffee (kurz nach Sonnenaufgang). :-)

Gelobt sei die Fernkonsole

Freitag, den 2. Februar 2007

Unser Monitoring hat vorhin festgestellt, daß ein Server steht. Nach verschiedenen Eskalationsstufen wurde ich letztendlich aus dem Bett geklingelt. Der Server war von außen nicht mehr erreichbar - also habe ich die Fernkonsole geöffnet und da auch nur feststellen können, daß das System irgendwie eingefroren war.

Also - Reset ausgelöst und gewartet bis der Server wiederkommt. Dank der Fernkonsole (KVM-over-IP) konnte ich zum Glück zusehen, wie der Server seinen Filesystem-Check über hunderte Gigabytes ausführt. Früher wäre ich an der Stelle öfters fast verzweifelt, wenn der neu gebootete Server aus Sicht von Ping/SSH einfach nicht erreichbar wird (weil er eben noch beschäftigt ist). Ein FSCK kann mitunter (subjektiv) ewig dauern - ich saß schon öfters im Auto auf dem Weg ins Rechenzentrum, bis ich die SMS vom Monitoring bekam daß der jeweilge Server nun wieder oben sei. :grr:

Filesystem Check

An dieser Stelle also nochmal ein Lob auf die Fernkonsole. :-)

Dann mal gute Nacht… oder guten Morgen… :morning:

Wetterfestes Webhosting

Donnerstag, den 18. Januar 2007

So langsam aber sicher macht sich das Sturmtief “Kyrill” bemerkbar. Nicht nur durch einen Blick aus dem Fenster oder die auf der Fahrt ins Büro erlebten Schaukel-Einheiten im Auto, sondern auch durch eine Mail des Rechenzentrums, in welchem fast alle unsere Server stehen:

Sehr geehrte Damen und Herren, verehrte Kunden,

aufgrund der aktuellen Unwetterwarnung des Deutschen Wetterdienstes möchten wir Sie über den aktuellen Sicherheitsstatus und die zusätzlich ergriffenen Vorsichtsmaßnahmen informieren.

Generell gilt für das Stadtgebiet Nürnberg die zweithöchste Warnstufe des DWD, mit Orkanböen bis 120 km/h. Schäden am RZ-Gebäude werden nicht erwartet, da Gebäude und Dach des Rechenzentrums für derartige Stürme ausgelegt sind. Schäden durch umstürtzende Bäume sind ausgeschlossen, da sich in unmittelbarer Nähe zum Gebäude und zum Dieselaggregat keine Bäume befinden.

Laut unseren Energielieferanten und Stromnetzbetreibern werden für das Stadtgebiet keine Stromausfälle erwartet, da alle Stromleitungen unterirdisch geführt werden. Der Gewerbepark verfügt über eine redundante Stromeinspeisung von zwei getrennten Umspannwerken, wodurch auch hier keine Stromausfälle auftreten sollten.

Bei überregionalen Störungen im Hochspannungsnetz oder einem Blackout wie vor einigen Monaten, kann es natürlich auch in Nürnberg zu Stromausfällen kommen. Unsere Energieversorger haben die Anzahl der Bereitschaftskräfte deutlich erhöht und “sind für alles gerüstet”.

Zusätzlich ergriffene Maßnahmen:

1. Erweiterte Rufbereitschaft für die gesamte Technik Nürnberg

Von heute 16.00 Uhr bis morgen 10.00 Uhr gilt für unsere gesamte Abteilung Technik eine erweiterte Rufbereitschaft.

2. Stromversorgung Nürnberg

Sollte es zu einem Stromausfall seitens der Energieversorger kommen, stehen wie immer USV-Anlagen und Notstromdiesel zur Verfügung. Alle Wartungsarbeiten an obigen Anlagen wurden Ende Dezember / Anfang Januar durchgeführt, weshalb auch hier nicht mit einem Versagen der Anlagen gerechnet wird. IP Exchange bevorratet ab heute Mittag zusätzlich Dieseltreibstoff um ggf. auch einen längeren Stromausfall überbrücken zu können.

Ich bin heute Abend privat bei Freunden in Nürnberg - sollte es mir dort zu ungemütlich werden, kann ich ja jederzeit ins Rechenzentrum gehen. ;-)

Bastard Administrator…

Sonntag, den 24. September 2006

Wenn ich mal zu viel Geld übrig haben sollte und mir einen riesigen Spaß gönnen möchte, mache ich Folgendes:

1.) Ich bestelle mir einen USB-Hub der “besonderen” Art:

USB Nuke Box

2.) Ich stelle das Teil in eins unserer Racks ins Rechenzentrum - eventuell noch irgendwie mit Absperrband oder Warnaufklebern außenherum…

3.) Ich rufe irgendwann nachts im NOC (Network Operation Center) unseres Rechenzentrums an, und bitte einen Servicetechniker, das betroffene Rack zu öffnen.

4.) Per Telefon gebe ich dann die Anweisungen, der Reihe nach die Schalter zu betätigen. Am Ende soll er den mittleren Schalter drücken, und den Raum binnen 15 Sekunden verlassen… :-D

(Gefunden auf www.reghardware.co.uk)