Einträge von Philipp Riegger

Begin forwarded message:

Date: Fri, 5 Feb 2010 21:22:46 +0100 (CET)
From: Andreas Thienemann
Subject: [Bawue.Net] Wartungsankuendigung bawue.net

Hallo,

da wir in den vergangenen zwei Wochen leider ein paar Ausfälle im
Zusammenhang mit unserem Storage-Server hatten, werden wir im Laufe des
Wochenendes und des Freitag abends ein Ersatzgerät einbauen auf dass
solche Probleme hoffentlich ein Ende haben.

Leider bedeutet dies, dass wir dafür sowohl ie Mailserver, die
Webserver und auch die Shellserver kurzzeitig abschalten müssen um die
Daten auf das neue Storage Gerät zu kopieren. Deshalb ist
vorraussichtlich von Freitag abend 23:00 bis Samstag Abend 23:00 Uhr
mit Störungenzu rechnen. Wir versuchen zwar, diese Störungen zu
miniieren, könnendies aber leider auch nur begrenzt erreichen.

Nach Abschluss dieser Arbeiten werden wir Euch entsprechend informieren.
Solltet Ihr irgendwelche Fehler entdecken oder weitergehende Fragen
haben, so schickt bitte eine Mail an oder besucht uns
im IRCnet Chatnetzwerk auf dem Channel #bawue.

cheers,
andreas

Wir hatten gestern nachmittag einen Ausfall im Storage-System. Mail ist seit irgendwann vor 18:00 Uhr wieder verfügbar, die anderen Dienste seit ca. 22:00 Uhr.

Ein zweiter Storage Server steht seit ungefähr einer Woche im Rack, wir konnten ihn auf Grund fehlender Hardware leider noch nicht in Betrieb nehmen. In den nächsten Wochen wird es dann redundanten Storage geben, was Probleme wie heute hoffentlich in die Vergangenheit verbannt.

Am Samstag abend wurde bei der Migration von einigen Virtuellen Maschinen auf ein neues iSCSI Storage System der IMAP Server neu gestartet.

Unter normalen Umständen wäre der Mailserver nach ca. 2 Minuten wieder erreichbar gewesen. Allerdings wurde nicht daran gedacht, dass nach einer Laufzeit von mehreren Monaten beim Neustart automatisch das Filesystem auf Fehler überprüft wird.

Diese Fehlerprüfung (fsck) läuft aufgrund der hohen Anzahl an Dateien leider noch immer. Bis diese abgeschlossen ist, ist der IMAP Server nicht erreichbar.

UPDATE2: Die IMAP und POP3 sind seit dem 24. Januar 2010 21:50 wieder wie gewohnt erreichbar. Der Filesystemcheck hat bis Sonntag Mittag angedauert. Die restliche Zeit haben wir damit verbracht sicherzustellen dass keine Mails verloren gegangen sind.
Entgegen des ursprünglichen Updates haben wir den Spool nicht neu erzeugt. D.h. sämtliche IDs der Mails sind gleichgeblieben.

Im moment werden die am Samstag und Sonntag zwischengespeicherten Mails zugestellt. Dies kann noch ein klein wenig dauern, Mails vom Wochenende sind aber nicht verlorengegangen.

UPDATE: Da die Überprüfung des Dateisystems _immer_ noch andauert (GRRRR!) werden wir wohl einen leeren Spool initialisieren damit auf Mails wieder zugegriffen werden kann.

Nach Ablauf des fsck werden wir dann die beiden Spools wieder konsolidieren indem wir die Mails einzeln von einem Spool in den anderen kopieren und anschliessend die entsprechenden Datenbanken neu erzeugen.

Solltet Ihr Eure eMails nicht nur auf dem IMAP Server sondern auch offline auf Euren Rechnern zu Hause haben, so solltet Ihr eine Kopie Eurer lokalen Daten vorsichtshalber anlegen. Manche eMail Clients löschen gerne einfach mal den gesamten Cache wenn sich die Datenbank auf dem IMAP Server ändert. Mit der Sicherheitskopie habt Ihr für diesen Fall wenigstens eine Kopie.

Helena ist im Moment leider ausgefallen. Alle bisherigen Versuche, den Fehler zu finden oder die Maschine neu zu starten sind fehl geschlagen. Wir arbeiten weiterhin an dem Problem und hoffen, möglichst bald eine Lösung gefunden zu haben.

Betroffen sind folgende Dienste:

• Ssh Login auf helena.bawue.de (shell.bawue.net funktioniert und bietet dasselbe)


• Der MySQL 3 Server (nicht betroffen: mysql5.bawue.net)


• Webseiten, die auf dem Server gehostet sind (leider sehr viele) (nicht betroffen: Webseiten, die auf den neuen Webserver umgezogen sind, der Zugriff auf das public_html Verzeichnis)

Nicht betroffen sind alle anderen Dienste wie Mail, News, ...

Als Bugfix kann ich für Spezialfälle im Moment folgendes anbieten:

• Sollte deine Domain auf Helena gehostet sein und solltest du keine Datenbank von mysql.bawue.de, helena.bawue.de oder localhost nutzen, kann ich die Domain auf unseren neuen Webserver umziehen. Dazu bitte eine Email mit einer Liste aller umzuziehenden Domainnamen an admin@bawue.net schreiben.


• Sollte die Domain auf Helena laufen und eine lokale Datenbank nutzen, kann ich den Umzug auch starten, was dann allerdings funktioniert und was wie stirbt, weiss ich nicht.


• Sollte die Domain auf irgendeine Art und weise speziell konfiguriert worden sein, muss ich von Fall zu Fall schauen, was ich tun kann.

Danke für das Verständnis, Philipp (im Namen aller Admins)

[UPDATE:]

Helena läuft wieder. Das Problem wurde durch einen REboot von King gelöst. Der REboot verursachte jedoch andere Probleme, was die Sache etwas verzögert hat.

Sollte jemand dennoch auf den neuen Webserver umziehen wollen oder seine Datenbank nach mysql5 migrieren wollen, kann er sich gerne Tipps bei admin@bawue.net geben lassen. Die Kombination neuer Webserver/neuer Datenbankserver bietet nach Berichten anderer Nutzer bemerkbare Geschwindigkeitsvorteile.

Angeregt durch den Admin-Stammtisch und diverse Gespräche im IRC habe ich vor ein paar Tagen angefangen einen Trac/Subversion Server zu bauen.

Wir wollen damit drei Fliegen mit einer Klappe Schlagen:

1. Wir wollen Repositories, Ticket System und was man sonst noch so braucht um die für Bawue.Net entwickelte Software (Munin Plugins, Sync Scripte, Automatische Konfigurationssysteme, was auch immer) als Open Source zu veröffentlichen.


2. Wir wollen die Möglichkeit haben, die Infrastruktur für spezielle Projekte mit Zugriffsrechten zu versehen, um Bawue.Net interne und nicht zur Veröffentlichung geeignete Software zu verwalten (Easy, Homepage, My, andere sehr stark auf Bawue.Net zugeschnittene Software).


3. Wir wollen unseren Kunden die Infrastruktur für eigene Projekte anbieten.

Im Moment existiert ein Subversion Server unter svn.bawue.org und der Trac Server unter trac.bawue.org. Die Dienste sind nur per https erreichbar (d.h. SSL verschlüsselt). Wir haben mit absicht die Domain bawue.org gewählt, um unter diesem Namen (unter dieser "Marke") den Open Source Bereich von Bawue.Net zu präsentieren.

Obwohl der Grundstein gelegt ist, gibt es noch viel zu tun:

• Bisher unterstützen wir nur Subversion, andere Versionsverwaltungssysteme können aber noch hinzugefügt werden. In erster Linie denke ich da an Git, aber auch Bazaar oder Monotone sind möglich.


• Trac Schaut schon recht gut aus, allerdings würden wir gerne einen eigenen Skin verwenden um Bawue.Net mehr in den Vordergrund zu rücken.


• Die Authentifizierung muss bisher komplett von Hand konfiguriert werden. ausserdem müssen Repositories im Subversion und Projekte im Trac vom Hand erstellt werden. Dies soll an die Bawue.Net Infrastruktur angepasst werden und automatisiert geschehen.

Für die Admins unter euch gibt es mehr im Admin Wiki, mit Details zur Implementierung (wir haben übrigens mod_wsgi verwendet) und einer ausführlicheren ToDo Liste.

Falls jemand von euch ein Subversion Repository und Trac Projekt haben will, bitte einfach eine Email an die Admin Mailingliste senden. Falls ein anderes Versionskontrollsystem benötigt wird, kann eine Anfrage an die oben genannte Liste die Umsetzung beschleunigen.

Ich freue mich euch mitteilen zu dürfen, dass der Stammtisch ein voller Erfolg war. Er war recht gut besucht mit sieben Personen, darunter Vorstandsmitglieder, Admins, Kunden und zukünftige Admins (hoffentlich). Das Essen war ausgezeichnet und über das Preis/Leistungs Verhältnis bei der NLV Gaststätte kann sich nun wirklich keiner beschweren. Geredet haben wir unter anderem über das Mailsystem Redesign und dabei auftretende, so nicht lösbare Probleme, über einen Trac/Subversion Server, über den ich nachher noch einen Artikel schreiben werde und diverse andere Dinge, die uns auf dem Herzen lagen.

In welchem Zeitrahmen wir so einen Stammtisch wiederholen werden steht noch nicht fest. Falls ihr Interesse habe, schreibt uns doch einfach eine kurze Nachricht an die Admin Mailingliste. Über Feedback etc. freuen wir uns auch immer. Bis zum nächsten Stammtisch dann, ich freue mich schon.

Ich möchte euch gerne zu einem Bawue.Net Admin Stammtisch am 21..11. um 19:00 Uhr einladen (Freitag den 13. gibt es leider diesen Monat nicht). Er wird in der NLV Gaststätte (Pizzeria) in S-Vaihingen (Wegbeschreibung der Mac User Group) stattfinden. Ist super mit öffentlichen Verkehrsmitteln zu erreichen (Vaihingen Bahnhof, Hinterausgang, die rechte Strasse entlang) und die Parksituation sollte auch ok sein.

Wenn ihr sicher wisst, dass ihr kommt, schreibt einfach eine kurze Mail an admin@bawue.de, damit ich weiss, für wieviele Leute ich reservieren muss. Und schaut nochmal ca. 24 Stunden davor ins Wiki, für letzte Änderungen (Vaihingen ist abgebrannt o.ä.).

[Update: (2008-11-13)]
Da es für den 14.11. ein paar Absagen gab, haben alle angemeldeten Teilnehmer beschlossen, den Stammtisch auf den 21.11. zu verschieben. Den Text oben hab ich angepasst, das gilt alles nach wie vor.