bawue.net

Wir hatten gestern nachmittag einen Ausfall im Storage-System. Mail ist seit irgendwann vor 18:00 Uhr wieder verfügbar, die anderen Dienste seit ca. 22:00 Uhr.

Ein zweiter Storage Server steht seit ungefähr einer Woche im Rack, wir konnten ihn auf Grund fehlender Hardware leider noch nicht in Betrieb nehmen. In den nächsten Wochen wird es dann redundanten Storage geben, was Probleme wie heute hoffentlich in die Vergangenheit verbannt.

Am Samstag abend wurde bei der Migration von einigen Virtuellen Maschinen auf ein neues iSCSI Storage System der IMAP Server neu gestartet.

Unter normalen Umständen wäre der Mailserver nach ca. 2 Minuten wieder erreichbar gewesen. Allerdings wurde nicht daran gedacht, dass nach einer Laufzeit von mehreren Monaten beim Neustart automatisch das Filesystem auf Fehler überprüft wird.

Diese Fehlerprüfung (fsck) läuft aufgrund der hohen Anzahl an Dateien leider noch immer. Bis diese abgeschlossen ist, ist der IMAP Server nicht erreichbar.

UPDATE2: Die IMAP und POP3 sind seit dem 24. Januar 2010 21:50 wieder wie gewohnt erreichbar. Der Filesystemcheck hat bis Sonntag Mittag angedauert. Die restliche Zeit haben wir damit verbracht sicherzustellen dass keine Mails verloren gegangen sind.
Entgegen des ursprünglichen Updates haben wir den Spool nicht neu erzeugt. D.h. sämtliche IDs der Mails sind gleichgeblieben.

Im moment werden die am Samstag und Sonntag zwischengespeicherten Mails zugestellt. Dies kann noch ein klein wenig dauern, Mails vom Wochenende sind aber nicht verlorengegangen.

UPDATE: Da die Überprüfung des Dateisystems _immer_ noch andauert (GRRRR!) werden wir wohl einen leeren Spool initialisieren damit auf Mails wieder zugegriffen werden kann.

Nach Ablauf des fsck werden wir dann die beiden Spools wieder konsolidieren indem wir die Mails einzeln von einem Spool in den anderen kopieren und anschliessend die entsprechenden Datenbanken neu erzeugen.

Solltet Ihr Eure eMails nicht nur auf dem IMAP Server sondern auch offline auf Euren Rechnern zu Hause haben, so solltet Ihr eine Kopie Eurer lokalen Daten vorsichtshalber anlegen. Manche eMail Clients löschen gerne einfach mal den gesamten Cache wenn sich die Datenbank auf dem IMAP Server ändert. Mit der Sicherheitskopie habt Ihr für diesen Fall wenigstens eine Kopie.

Angeregt durch den Admin-Stammtisch und diverse Gespräche im IRC habe ich vor ein paar Tagen angefangen einen Trac/Subversion Server zu bauen.

Wir wollen damit drei Fliegen mit einer Klappe Schlagen:

1. Wir wollen Repositories, Ticket System und was man sonst noch so braucht um die für Bawue.Net entwickelte Software (Munin Plugins, Sync Scripte, Automatische Konfigurationssysteme, was auch immer) als Open Source zu veröffentlichen.


2. Wir wollen die Möglichkeit haben, die Infrastruktur für spezielle Projekte mit Zugriffsrechten zu versehen, um Bawue.Net interne und nicht zur Veröffentlichung geeignete Software zu verwalten (Easy, Homepage, My, andere sehr stark auf Bawue.Net zugeschnittene Software).


3. Wir wollen unseren Kunden die Infrastruktur für eigene Projekte anbieten.

Im Moment existiert ein Subversion Server unter svn.bawue.org und der Trac Server unter trac.bawue.org. Die Dienste sind nur per https erreichbar (d.h. SSL verschlüsselt). Wir haben mit absicht die Domain bawue.org gewählt, um unter diesem Namen (unter dieser "Marke") den Open Source Bereich von Bawue.Net zu präsentieren.

Obwohl der Grundstein gelegt ist, gibt es noch viel zu tun:

• Bisher unterstützen wir nur Subversion, andere Versionsverwaltungssysteme können aber noch hinzugefügt werden. In erster Linie denke ich da an Git, aber auch Bazaar oder Monotone sind möglich.


• Trac Schaut schon recht gut aus, allerdings würden wir gerne einen eigenen Skin verwenden um Bawue.Net mehr in den Vordergrund zu rücken.


• Die Authentifizierung muss bisher komplett von Hand konfiguriert werden. ausserdem müssen Repositories im Subversion und Projekte im Trac vom Hand erstellt werden. Dies soll an die Bawue.Net Infrastruktur angepasst werden und automatisiert geschehen.

Für die Admins unter euch gibt es mehr im Admin Wiki, mit Details zur Implementierung (wir haben übrigens mod_wsgi verwendet) und einer ausführlicheren ToDo Liste.

Falls jemand von euch ein Subversion Repository und Trac Projekt haben will, bitte einfach eine Email an die Admin Mailingliste senden. Falls ein anderes Versionskontrollsystem benötigt wird, kann eine Anfrage an die oben genannte Liste die Umsetzung beschleunigen.

Ich freue mich euch mitteilen zu dürfen, dass der Stammtisch ein voller Erfolg war. Er war recht gut besucht mit sieben Personen, darunter Vorstandsmitglieder, Admins, Kunden und zukünftige Admins (hoffentlich). Das Essen war ausgezeichnet und über das Preis/Leistungs Verhältnis bei der NLV Gaststätte kann sich nun wirklich keiner beschweren. Geredet haben wir unter anderem über das Mailsystem Redesign und dabei auftretende, so nicht lösbare Probleme, über einen Trac/Subversion Server, über den ich nachher noch einen Artikel schreiben werde und diverse andere Dinge, die uns auf dem Herzen lagen.

In welchem Zeitrahmen wir so einen Stammtisch wiederholen werden steht noch nicht fest. Falls ihr Interesse habe, schreibt uns doch einfach eine kurze Nachricht an die Admin Mailingliste. Über Feedback etc. freuen wir uns auch immer. Bis zum nächsten Stammtisch dann, ich freue mich schon.

Ich möchte euch gerne zu einem Bawue.Net Admin Stammtisch am 21..11. um 19:00 Uhr einladen (Freitag den 13. gibt es leider diesen Monat nicht). Er wird in der NLV Gaststätte (Pizzeria) in S-Vaihingen (Wegbeschreibung der Mac User Group) stattfinden. Ist super mit öffentlichen Verkehrsmitteln zu erreichen (Vaihingen Bahnhof, Hinterausgang, die rechte Strasse entlang) und die Parksituation sollte auch ok sein.

Wenn ihr sicher wisst, dass ihr kommt, schreibt einfach eine kurze Mail an admin@bawue.de, damit ich weiss, für wieviele Leute ich reservieren muss. Und schaut nochmal ca. 24 Stunden davor ins Wiki, für letzte Änderungen (Vaihingen ist abgebrannt o.ä.).

[Update: (2008-11-13)]
Da es für den 14.11. ein paar Absagen gab, haben alle angemeldeten Teilnehmer beschlossen, den Stammtisch auf den 21.11. zu verschieben. Den Text oben hab ich angepasst, das gilt alles nach wie vor.