blog.bawue.net

Andreas hatte eine Digitalkamera dabei und wir haben diverse Zustände während unserer Umbauaktion letzte Nacht dokumentiert.

Wir haben leider verpasst, ganz am Anfang ein Bild zu machen. Bei folgendem ersten Bild, das das Rack von vorne zeigt, fehlen schon 2 Geräte eine gute halbe Bildschirmhöhe über dem Bildschirm. Auf dem Bild sehen wir von oben nach unten irgendwelche Rittal Rack Management Geräte, 2 Dell Server auf denen die meisten unserer virtuellen Maschinen laufen, eine Lücke in der davor unser erster Router BB1 und unser serieller Consolenserver war, Sysiphus2 (Storage und virtuelle Maschinen), BB2 (unser zweiter momentan aktiver Router), ein Bildschirm mit Tastatur, dahinter in irgendeiner Reihenfolge News (Newsserver), Gonzo (Andreas Server) und Horscht (Storage und virtuelle Maschinen). Unter dem Bildschirm sind unsere beiden neuen Storageserver, auf denen alle Nutzerdaten und fast alle virtuellen Maschinen liegen, die Tape Library für Backups und 2 Mal USV mit Akkus.

Auf der Rückseite ist alles verkabelt, wobei die meisten Kabel viel zu lang sind und damit ein ganz kleines bisschen nach Chaos aussehen. In der Mitte rechts sieht man 2 24-Port 100MBit Switche durchschauen, die wir schon viele viele Jahre nicht mehr nutzen aber auf Grund der vielen Kabel nicht ausbauen konnten.

Hier sieht man ganz links eine Kiste, die am Ende der Nacht mit übrigen Kabeln gefüllt sein wird. Im ersten Rack links sind King und Sysiphus1, beides Server die seit einiger Zeit nicht mehr in Betrieb sind. Im zweiten Rack ist der Switch, der die Aussenanbindung für uns macht (oben, mit den schönen bunten Kabeln) und darunter ein Switch den wir als Ersatzgerät neu angeschafft haben und noch ins Rack einbauen müssen (nach dem Umbau).

Hier sind diverse Geräte verschwunden: Gonzo liegt im Rack vom vorigen Bild und läuft friedlich vor sich hin, News macht dasselbe. Alle virtuellen Maschinen wurden von Horscht auf andere Server migriert und Horscht liegt ausgeschaltet in irgendeiner Ecke. Unsere iSCSI server laufen nicht mehr gespiegelt, das zweite Gerät wurde heruntergefahren und auch irgendwo abgestellt. Das Kabelchaos hinten ist auch schon deutlich übersichtlicher geworden.

Hier ist das Rack fast schon leer, jedenfalls so leer wir wir es am Ende der Nacht zurücklassen werden. Der einzige laufende Rechner ist noch BB1, der die Aussenanbindung macht.

Hier sieht man von vorne nach hinten: Sysiphus2, den wir für einige virtuelle Maschinen brauchen, die lokalen Plattenspeicher nutzen, dann 3 Dell Server, auf denen alle anderen VMs laufen und ganz hinten der Storage Server. Ich finde ja, das Rack war ein Fehlkauf, so ist alles viel übersichtlicher.

Das fast leere Rack von hinten, mit fast keinen Kabeln mehr.

Es steht seit einiger Zeit ein größerer Umbau des Serverschrankes an, den wir voraussichtlich morgen Abend gegen 21:00 Uhr in Angriff nehmen. Wir werden dabei alle Server aus dem Rack ausbauen, die wichtigsten neben dem Rack hinstellen und wieder in Betrieb nehmen, dann das Rack umbauen und danach wieder alle Server einbauen. Beim Ausbau und danach wieder beim Einbau sind kurze Downtimes leider unumgänglich. Wir werden unser bestes geben um sie so kurz wie möglich zu halten.

Während des Umbaus sollten die meisten Dienste zur Verfügung stehen (wir gehen davon aus, alle von Nutzern erreichbaren Dienste anbieten zu können).

Nach diesem "Neujahrsputz" wird das Rack dann neu geordnet erstrahlen, alle Server werden korrekt eingebaut und festgeschraubt sein und wir hoffen, damit für ein paar weitere Jahre Bawue.Net ohne größere Umbauten gerüstet zu sein.

Solltet ihr auf irgendwelche Probleme stoßen, dürft ihr uns gerne im IRC Netzwert IRCnet im Channel #bawue oder per Email an admin@bawue.net um Rat fragen, wir werden alle Anfragen so schnell wir können beantworten.

[Update 1:] Bisher schaut alles recht gut aus. Wir haben die meiste Hardware aus dem Rack ausgebaut und neben das Rack auf den Boden gelegt. Die Server und alle (wichtigen) VMs laufen. Jetzt geht es erstmal ins Bett, bevor morgen dann das gemacht wird, für das wir uns heute die Nacht um die Ohren geschlagen haben: Die Rackschienen richtig einstellen und alles wirder richtig einbauen.

[Update 2:] Da es ja langweilig wäre, sich an Pläne zu halten und da im Laufe des heutigen Tages Hardwareprobleme aufgetreten sind und wir erst morgen an Ersatzteile kommen, werden wir morgen mit dem Rack weitermachen. Dadurch wird es voraussichtlich am 7.1. und evtl. am 8.1. zu weiteren kurzen Ausfällen kommen.

Bei Wartungsarbeiten mussten wir heute leider den IMAP/POP3 Server neu booten. Der notwendige Dateisystemcheck dauert leider noch an, daher ist der IMAP/POP3 Server im Moment nicht erreichbar.

Wir bitten die Downtime zu entschuldigen und melden uns hier, sobald wir mehr wissen.

Beid den Wartungsarbeiten handelte es sich um ein Speicherupdate bei unseren beiden neuen Dell Servern. Die hatten bisher 6 GB RAM und haben nur 16 GB. Da die Server von der Hardware her identisch sind hoffen wir in Zukunft bei Wartunsarbeiten virtuelle Maschinen nicht mehr abschalten und neu booten zu müssen sondern einfach im Betrieb auf den anderen Server umziehen zu können.

[Update:] Scheint, als wurde meine Bitte nicht erhört, hier kurz reinzuschreiben, dass sich die Sache erledigt hat. Also, das o.g. Problem besteht seit geraumer Zeit nicht mehr.

Begin forwarded message:

Date: Fri, 5 Feb 2010 21:22:46 +0100 (CET)
From: Andreas Thienemann
Subject: [Bawue.Net] Wartungsankuendigung bawue.net

Hallo,

da wir in den vergangenen zwei Wochen leider ein paar Ausfälle im
Zusammenhang mit unserem Storage-Server hatten, werden wir im Laufe des
Wochenendes und des Freitag abends ein Ersatzgerät einbauen auf dass
solche Probleme hoffentlich ein Ende haben.

Leider bedeutet dies, dass wir dafür sowohl ie Mailserver, die
Webserver und auch die Shellserver kurzzeitig abschalten müssen um die
Daten auf das neue Storage Gerät zu kopieren. Deshalb ist
vorraussichtlich von Freitag abend 23:00 bis Samstag Abend 23:00 Uhr
mit Störungenzu rechnen. Wir versuchen zwar, diese Störungen zu
miniieren, könnendies aber leider auch nur begrenzt erreichen.

Nach Abschluss dieser Arbeiten werden wir Euch entsprechend informieren.
Solltet Ihr irgendwelche Fehler entdecken oder weitergehende Fragen
haben, so schickt bitte eine Mail an oder besucht uns
im IRCnet Chatnetzwerk auf dem Channel #bawue.

cheers,
andreas

Wir hatten gestern nachmittag einen Ausfall im Storage-System. Mail ist seit irgendwann vor 18:00 Uhr wieder verfügbar, die anderen Dienste seit ca. 22:00 Uhr.

Ein zweiter Storage Server steht seit ungefähr einer Woche im Rack, wir konnten ihn auf Grund fehlender Hardware leider noch nicht in Betrieb nehmen. In den nächsten Wochen wird es dann redundanten Storage geben, was Probleme wie heute hoffentlich in die Vergangenheit verbannt.

Am Samstag abend wurde bei der Migration von einigen Virtuellen Maschinen auf ein neues iSCSI Storage System der IMAP Server neu gestartet.

Unter normalen Umständen wäre der Mailserver nach ca. 2 Minuten wieder erreichbar gewesen. Allerdings wurde nicht daran gedacht, dass nach einer Laufzeit von mehreren Monaten beim Neustart automatisch das Filesystem auf Fehler überprüft wird.

Diese Fehlerprüfung (fsck) läuft aufgrund der hohen Anzahl an Dateien leider noch immer. Bis diese abgeschlossen ist, ist der IMAP Server nicht erreichbar.

UPDATE2: Die IMAP und POP3 sind seit dem 24. Januar 2010 21:50 wieder wie gewohnt erreichbar. Der Filesystemcheck hat bis Sonntag Mittag angedauert. Die restliche Zeit haben wir damit verbracht sicherzustellen dass keine Mails verloren gegangen sind.
Entgegen des ursprünglichen Updates haben wir den Spool nicht neu erzeugt. D.h. sämtliche IDs der Mails sind gleichgeblieben.

Im moment werden die am Samstag und Sonntag zwischengespeicherten Mails zugestellt. Dies kann noch ein klein wenig dauern, Mails vom Wochenende sind aber nicht verlorengegangen.

UPDATE: Da die Überprüfung des Dateisystems _immer_ noch andauert (GRRRR!) werden wir wohl einen leeren Spool initialisieren damit auf Mails wieder zugegriffen werden kann.

Nach Ablauf des fsck werden wir dann die beiden Spools wieder konsolidieren indem wir die Mails einzeln von einem Spool in den anderen kopieren und anschliessend die entsprechenden Datenbanken neu erzeugen.

Solltet Ihr Eure eMails nicht nur auf dem IMAP Server sondern auch offline auf Euren Rechnern zu Hause haben, so solltet Ihr eine Kopie Eurer lokalen Daten vorsichtshalber anlegen. Manche eMail Clients löschen gerne einfach mal den gesamten Cache wenn sich die Datenbank auf dem IMAP Server ändert. Mit der Sicherheitskopie habt Ihr für diesen Fall wenigstens eine Kopie.

Helena ist im Moment leider ausgefallen. Alle bisherigen Versuche, den Fehler zu finden oder die Maschine neu zu starten sind fehl geschlagen. Wir arbeiten weiterhin an dem Problem und hoffen, möglichst bald eine Lösung gefunden zu haben.

Betroffen sind folgende Dienste:

• Ssh Login auf helena.bawue.de (shell.bawue.net funktioniert und bietet dasselbe)


• Der MySQL 3 Server (nicht betroffen: mysql5.bawue.net)


• Webseiten, die auf dem Server gehostet sind (leider sehr viele) (nicht betroffen: Webseiten, die auf den neuen Webserver umgezogen sind, der Zugriff auf das public_html Verzeichnis)

Nicht betroffen sind alle anderen Dienste wie Mail, News, ...

Als Bugfix kann ich für Spezialfälle im Moment folgendes anbieten:

• Sollte deine Domain auf Helena gehostet sein und solltest du keine Datenbank von mysql.bawue.de, helena.bawue.de oder localhost nutzen, kann ich die Domain auf unseren neuen Webserver umziehen. Dazu bitte eine Email mit einer Liste aller umzuziehenden Domainnamen an admin@bawue.net schreiben.


• Sollte die Domain auf Helena laufen und eine lokale Datenbank nutzen, kann ich den Umzug auch starten, was dann allerdings funktioniert und was wie stirbt, weiss ich nicht.


• Sollte die Domain auf irgendeine Art und weise speziell konfiguriert worden sein, muss ich von Fall zu Fall schauen, was ich tun kann.

Danke für das Verständnis, Philipp (im Namen aller Admins)

[UPDATE:]

Helena läuft wieder. Das Problem wurde durch einen REboot von King gelöst. Der REboot verursachte jedoch andere Probleme, was die Sache etwas verzögert hat.

Sollte jemand dennoch auf den neuen Webserver umziehen wollen oder seine Datenbank nach mysql5 migrieren wollen, kann er sich gerne Tipps bei admin@bawue.net geben lassen. Die Kombination neuer Webserver/neuer Datenbankserver bietet nach Berichten anderer Nutzer bemerkbare Geschwindigkeitsvorteile.