bawue.net

Andreas hatte eine Digitalkamera dabei und wir haben diverse Zustände während unserer Umbauaktion letzte Nacht dokumentiert.

Wir haben leider verpasst, ganz am Anfang ein Bild zu machen. Bei folgendem ersten Bild, das das Rack von vorne zeigt, fehlen schon 2 Geräte eine gute halbe Bildschirmhöhe über dem Bildschirm. Auf dem Bild sehen wir von oben nach unten irgendwelche Rittal Rack Management Geräte, 2 Dell Server auf denen die meisten unserer virtuellen Maschinen laufen, eine Lücke in der davor unser erster Router BB1 und unser serieller Consolenserver war, Sysiphus2 (Storage und virtuelle Maschinen), BB2 (unser zweiter momentan aktiver Router), ein Bildschirm mit Tastatur, dahinter in irgendeiner Reihenfolge News (Newsserver), Gonzo (Andreas Server) und Horscht (Storage und virtuelle Maschinen). Unter dem Bildschirm sind unsere beiden neuen Storageserver, auf denen alle Nutzerdaten und fast alle virtuellen Maschinen liegen, die Tape Library für Backups und 2 Mal USV mit Akkus.

Auf der Rückseite ist alles verkabelt, wobei die meisten Kabel viel zu lang sind und damit ein ganz kleines bisschen nach Chaos aussehen. In der Mitte rechts sieht man 2 24-Port 100MBit Switche durchschauen, die wir schon viele viele Jahre nicht mehr nutzen aber auf Grund der vielen Kabel nicht ausbauen konnten.

Hier sieht man ganz links eine Kiste, die am Ende der Nacht mit übrigen Kabeln gefüllt sein wird. Im ersten Rack links sind King und Sysiphus1, beides Server die seit einiger Zeit nicht mehr in Betrieb sind. Im zweiten Rack ist der Switch, der die Aussenanbindung für uns macht (oben, mit den schönen bunten Kabeln) und darunter ein Switch den wir als Ersatzgerät neu angeschafft haben und noch ins Rack einbauen müssen (nach dem Umbau).

Hier sind diverse Geräte verschwunden: Gonzo liegt im Rack vom vorigen Bild und läuft friedlich vor sich hin, News macht dasselbe. Alle virtuellen Maschinen wurden von Horscht auf andere Server migriert und Horscht liegt ausgeschaltet in irgendeiner Ecke. Unsere iSCSI server laufen nicht mehr gespiegelt, das zweite Gerät wurde heruntergefahren und auch irgendwo abgestellt. Das Kabelchaos hinten ist auch schon deutlich übersichtlicher geworden.

Hier ist das Rack fast schon leer, jedenfalls so leer wir wir es am Ende der Nacht zurücklassen werden. Der einzige laufende Rechner ist noch BB1, der die Aussenanbindung macht.

Hier sieht man von vorne nach hinten: Sysiphus2, den wir für einige virtuelle Maschinen brauchen, die lokalen Plattenspeicher nutzen, dann 3 Dell Server, auf denen alle anderen VMs laufen und ganz hinten der Storage Server. Ich finde ja, das Rack war ein Fehlkauf, so ist alles viel übersichtlicher.

Das fast leere Rack von hinten, mit fast keinen Kabeln mehr.

Es steht seit einiger Zeit ein größerer Umbau des Serverschrankes an, den wir voraussichtlich morgen Abend gegen 21:00 Uhr in Angriff nehmen. Wir werden dabei alle Server aus dem Rack ausbauen, die wichtigsten neben dem Rack hinstellen und wieder in Betrieb nehmen, dann das Rack umbauen und danach wieder alle Server einbauen. Beim Ausbau und danach wieder beim Einbau sind kurze Downtimes leider unumgänglich. Wir werden unser bestes geben um sie so kurz wie möglich zu halten.

Während des Umbaus sollten die meisten Dienste zur Verfügung stehen (wir gehen davon aus, alle von Nutzern erreichbaren Dienste anbieten zu können).

Nach diesem "Neujahrsputz" wird das Rack dann neu geordnet erstrahlen, alle Server werden korrekt eingebaut und festgeschraubt sein und wir hoffen, damit für ein paar weitere Jahre Bawue.Net ohne größere Umbauten gerüstet zu sein.

Solltet ihr auf irgendwelche Probleme stoßen, dürft ihr uns gerne im IRC Netzwert IRCnet im Channel #bawue oder per Email an admin@bawue.net um Rat fragen, wir werden alle Anfragen so schnell wir können beantworten.

[Update 1:] Bisher schaut alles recht gut aus. Wir haben die meiste Hardware aus dem Rack ausgebaut und neben das Rack auf den Boden gelegt. Die Server und alle (wichtigen) VMs laufen. Jetzt geht es erstmal ins Bett, bevor morgen dann das gemacht wird, für das wir uns heute die Nacht um die Ohren geschlagen haben: Die Rackschienen richtig einstellen und alles wirder richtig einbauen.

[Update 2:] Da es ja langweilig wäre, sich an Pläne zu halten und da im Laufe des heutigen Tages Hardwareprobleme aufgetreten sind und wir erst morgen an Ersatzteile kommen, werden wir morgen mit dem Rack weitermachen. Dadurch wird es voraussichtlich am 7.1. und evtl. am 8.1. zu weiteren kurzen Ausfällen kommen.

Bei Wartungsarbeiten mussten wir heute leider den IMAP/POP3 Server neu booten. Der notwendige Dateisystemcheck dauert leider noch an, daher ist der IMAP/POP3 Server im Moment nicht erreichbar.

Wir bitten die Downtime zu entschuldigen und melden uns hier, sobald wir mehr wissen.

Beid den Wartungsarbeiten handelte es sich um ein Speicherupdate bei unseren beiden neuen Dell Servern. Die hatten bisher 6 GB RAM und haben nur 16 GB. Da die Server von der Hardware her identisch sind hoffen wir in Zukunft bei Wartunsarbeiten virtuelle Maschinen nicht mehr abschalten und neu booten zu müssen sondern einfach im Betrieb auf den anderen Server umziehen zu können.

[Update:] Scheint, als wurde meine Bitte nicht erhört, hier kurz reinzuschreiben, dass sich die Sache erledigt hat. Also, das o.g. Problem besteht seit geraumer Zeit nicht mehr.

Wir hatten gestern nachmittag einen Ausfall im Storage-System. Mail ist seit irgendwann vor 18:00 Uhr wieder verfügbar, die anderen Dienste seit ca. 22:00 Uhr.

Ein zweiter Storage Server steht seit ungefähr einer Woche im Rack, wir konnten ihn auf Grund fehlender Hardware leider noch nicht in Betrieb nehmen. In den nächsten Wochen wird es dann redundanten Storage geben, was Probleme wie heute hoffentlich in die Vergangenheit verbannt.

Am Samstag abend wurde bei der Migration von einigen Virtuellen Maschinen auf ein neues iSCSI Storage System der IMAP Server neu gestartet.

Unter normalen Umständen wäre der Mailserver nach ca. 2 Minuten wieder erreichbar gewesen. Allerdings wurde nicht daran gedacht, dass nach einer Laufzeit von mehreren Monaten beim Neustart automatisch das Filesystem auf Fehler überprüft wird.

Diese Fehlerprüfung (fsck) läuft aufgrund der hohen Anzahl an Dateien leider noch immer. Bis diese abgeschlossen ist, ist der IMAP Server nicht erreichbar.

UPDATE2: Die IMAP und POP3 sind seit dem 24. Januar 2010 21:50 wieder wie gewohnt erreichbar. Der Filesystemcheck hat bis Sonntag Mittag angedauert. Die restliche Zeit haben wir damit verbracht sicherzustellen dass keine Mails verloren gegangen sind.
Entgegen des ursprünglichen Updates haben wir den Spool nicht neu erzeugt. D.h. sämtliche IDs der Mails sind gleichgeblieben.

Im moment werden die am Samstag und Sonntag zwischengespeicherten Mails zugestellt. Dies kann noch ein klein wenig dauern, Mails vom Wochenende sind aber nicht verlorengegangen.

UPDATE: Da die Überprüfung des Dateisystems _immer_ noch andauert (GRRRR!) werden wir wohl einen leeren Spool initialisieren damit auf Mails wieder zugegriffen werden kann.

Nach Ablauf des fsck werden wir dann die beiden Spools wieder konsolidieren indem wir die Mails einzeln von einem Spool in den anderen kopieren und anschliessend die entsprechenden Datenbanken neu erzeugen.

Solltet Ihr Eure eMails nicht nur auf dem IMAP Server sondern auch offline auf Euren Rechnern zu Hause haben, so solltet Ihr eine Kopie Eurer lokalen Daten vorsichtshalber anlegen. Manche eMail Clients löschen gerne einfach mal den gesamten Cache wenn sich die Datenbank auf dem IMAP Server ändert. Mit der Sicherheitskopie habt Ihr für diesen Fall wenigstens eine Kopie.

Angeregt durch den Admin-Stammtisch und diverse Gespräche im IRC habe ich vor ein paar Tagen angefangen einen Trac/Subversion Server zu bauen.

Wir wollen damit drei Fliegen mit einer Klappe Schlagen:

1. Wir wollen Repositories, Ticket System und was man sonst noch so braucht um die für Bawue.Net entwickelte Software (Munin Plugins, Sync Scripte, Automatische Konfigurationssysteme, was auch immer) als Open Source zu veröffentlichen.


2. Wir wollen die Möglichkeit haben, die Infrastruktur für spezielle Projekte mit Zugriffsrechten zu versehen, um Bawue.Net interne und nicht zur Veröffentlichung geeignete Software zu verwalten (Easy, Homepage, My, andere sehr stark auf Bawue.Net zugeschnittene Software).


3. Wir wollen unseren Kunden die Infrastruktur für eigene Projekte anbieten.

Im Moment existiert ein Subversion Server unter svn.bawue.org und der Trac Server unter trac.bawue.org. Die Dienste sind nur per https erreichbar (d.h. SSL verschlüsselt). Wir haben mit absicht die Domain bawue.org gewählt, um unter diesem Namen (unter dieser "Marke") den Open Source Bereich von Bawue.Net zu präsentieren.

Obwohl der Grundstein gelegt ist, gibt es noch viel zu tun:

• Bisher unterstützen wir nur Subversion, andere Versionsverwaltungssysteme können aber noch hinzugefügt werden. In erster Linie denke ich da an Git, aber auch Bazaar oder Monotone sind möglich.


• Trac Schaut schon recht gut aus, allerdings würden wir gerne einen eigenen Skin verwenden um Bawue.Net mehr in den Vordergrund zu rücken.


• Die Authentifizierung muss bisher komplett von Hand konfiguriert werden. ausserdem müssen Repositories im Subversion und Projekte im Trac vom Hand erstellt werden. Dies soll an die Bawue.Net Infrastruktur angepasst werden und automatisiert geschehen.

Für die Admins unter euch gibt es mehr im Admin Wiki, mit Details zur Implementierung (wir haben übrigens mod_wsgi verwendet) und einer ausführlicheren ToDo Liste.

Falls jemand von euch ein Subversion Repository und Trac Projekt haben will, bitte einfach eine Email an die Admin Mailingliste senden. Falls ein anderes Versionskontrollsystem benötigt wird, kann eine Anfrage an die oben genannte Liste die Umsetzung beschleunigen.

Ich freue mich euch mitteilen zu dürfen, dass der Stammtisch ein voller Erfolg war. Er war recht gut besucht mit sieben Personen, darunter Vorstandsmitglieder, Admins, Kunden und zukünftige Admins (hoffentlich). Das Essen war ausgezeichnet und über das Preis/Leistungs Verhältnis bei der NLV Gaststätte kann sich nun wirklich keiner beschweren. Geredet haben wir unter anderem über das Mailsystem Redesign und dabei auftretende, so nicht lösbare Probleme, über einen Trac/Subversion Server, über den ich nachher noch einen Artikel schreiben werde und diverse andere Dinge, die uns auf dem Herzen lagen.

In welchem Zeitrahmen wir so einen Stammtisch wiederholen werden steht noch nicht fest. Falls ihr Interesse habe, schreibt uns doch einfach eine kurze Nachricht an die Admin Mailingliste. Über Feedback etc. freuen wir uns auch immer. Bis zum nächsten Stammtisch dann, ich freue mich schon.

Ich möchte euch gerne zu einem Bawue.Net Admin Stammtisch am 21..11. um 19:00 Uhr einladen (Freitag den 13. gibt es leider diesen Monat nicht). Er wird in der NLV Gaststätte (Pizzeria) in S-Vaihingen (Wegbeschreibung der Mac User Group) stattfinden. Ist super mit öffentlichen Verkehrsmitteln zu erreichen (Vaihingen Bahnhof, Hinterausgang, die rechte Strasse entlang) und die Parksituation sollte auch ok sein.

Wenn ihr sicher wisst, dass ihr kommt, schreibt einfach eine kurze Mail an admin@bawue.de, damit ich weiss, für wieviele Leute ich reservieren muss. Und schaut nochmal ca. 24 Stunden davor ins Wiki, für letzte Änderungen (Vaihingen ist abgebrannt o.ä.).

[Update: (2008-11-13)]
Da es für den 14.11. ein paar Absagen gab, haben alle angemeldeten Teilnehmer beschlossen, den Stammtisch auf den 21.11. zu verschieben. Den Text oben hab ich angepasst, das gilt alles nach wie vor.