Gelobt sei die Fernkonsole

Unser Monitoring hat vorhin festgestellt, daß ein Server steht. Nach verschiedenen Eskalationsstufen wurde ich letztendlich aus dem Bett geklingelt. Der Server war von außen nicht mehr erreichbar - also habe ich die Fernkonsole geöffnet und da auch nur feststellen können, daß das System irgendwie eingefroren war.

Also - Reset ausgelöst und gewartet bis der Server wiederkommt. Dank der Fernkonsole (KVM-over-IP) konnte ich zum Glück zusehen, wie der Server seinen Filesystem-Check über hunderte Gigabytes ausführt. Früher wäre ich an der Stelle öfters fast verzweifelt, wenn der neu gebootete Server aus Sicht von Ping/SSH einfach nicht erreichbar wird (weil er eben noch beschäftigt ist). Ein FSCK kann mitunter (subjektiv) ewig dauern - ich saß schon öfters im Auto auf dem Weg ins Rechenzentrum, bis ich die SMS vom Monitoring bekam daß der jeweilge Server nun wieder oben sei. :grr:

Filesystem Check

An dieser Stelle also nochmal ein Lob auf die Fernkonsole. :-)

Dann mal gute Nacht… oder guten Morgen… :morning:

Eine Bemerkung zu “Gelobt sei die Fernkonsole”

  1. RackBlogger » Blog Archiv » Interessantes Problem

    […] Im Zusammenhang mit dem Serverausfall wurde nun das Problem lokalisiert - wie ich finde mal wieder sehr interessant. Nachdem sich der Server nämlich letzte Nacht kurz nach 04:00 Uhr wieder verabschiedet hat, habe ich heute mal nachgeschaut was da so für Cron-Jobs laufen. Ursprünglich hatte ich den Backup-Prozess in Verdacht, aber der läuft schon eine Stunde vorher. Um vier Uhr aber ist die Log-Analyse mit Webalizer dran. Und da musste ich mir nur eine Datei anschauen um meinen nächstbesten Verdacht zu bestätigen: die Datei “dns_cache.db” war über 1.2 GB groß. […]

Einen Kommentar schreiben