blog.bawue.net

Sicherlich jeder kennt den Kurznachrichten bzw. Micro-Blogging Dienst Twitter. Dieser hat set kurzem einen neuen Eigentümer der scheinbar Ende letzter Woche ca. 50% der Beschäftigten entlassen hatte. Dieses unkonventionelle Verhalten führt viele technisch Interessierte Menschen dazu, sich verstärkt nach Alternativen umzusehen um auch im Fall von technischen Probleme bei Twitter weiterhin diese Kontakte halten zu können.

Es scheint, als wäre die Lösung der Wahl das sogenannte „Fediverse“, eine Sammlung dezentraler Mikro-Blogging Dienste. Ähnlich wie bei e-Mail oder dem Usenet gibt es verschiedene Server deren Benutzer untereinander kommunizieren können. So müssen nicht alle Nutzer beim selben Server angemeldet sein oder einen zentralisierten und kommerziellen Service nutzen, wie z.B. Twitter.

Für diesen föderierten Ansatz gibt es ein definiertes Protokoll namens ActivityPub.

Seit heute hat das bawue.net auch eine eigene Instanz für unsere Nutzer unter https://mastodon.bawue.social. Die verwendete Software ist Mastodon, eine verbreitete Implementation einer ActivityPub Instanz.

Ihr könnt Euch mit Eurem normalen bawue.net Account (username@bawue.de und my.bawue.net Passwort) auf https://mastodon.bawue.social/auth/sign_in Anmelden. Euer ActivityPub Account ist dann standardmässig username@bawue.social.

Solltet Ihr Probleme finden oder sonstige Fragen haben, dann schreibt einfach eine e-Mail an admin@bawue.net oder sendet eine Nachricht an @bawuenet@bawue.social um den neuen Service direkt mal auszuprobieren.

Wie in der Vergangenheit schon mehrfach auf unseren Mitgliederversammlungen angesprochen hatten wir seit langer Zeit geplant, unseren Mailserver zu erneuern. Einerseits wollten wir neue Funktionen anbieten, bessere Spamfilter anbieten und ein komfortableres eMail Webinterface zur Verfügung stellen aber auch ein paar Probleme mit der Verfügbarkeit des Mailservers beseitigen.

Dieses Unterfangen stellte sich jedoch als weitaus schwieriger heraus, als ursprünglich erhofft. Anstelle die Umstellung "mal eben schnell" zu machen, dauerten die Arbeiten am Mailserver letztlich (natürlich mit Unterbrechungen) mehr als drei Jahre.

Der neue Mailserver basiert auf einem aktuellen Postfix für Versand und Empfang der eMails und einem aktuellen Dovecot Server zum Zugriff via IMAP oder POP3. Beide Server, insbesondere jedoch Postfix wurden sehr für die Verwendung beim Bawue.Net angepasst, so dass wir einen hoffentlich hohen Komfort für die Nutzer anbieten können.

Als wichtigstes Feature haben wir die Spamfilter nochmal wesentlich verbessert. Für ankommenden Mails haben wir bereits seit ein paar Monaten den neuen Spamassassin verwendet, der wesentlich besser gefiltert hat als die zuvor genutzte Installation. Allerdings aktivieren wir jetzt für alle Benutzer den Spamfilter, weisen aber nur noch _wirklich_ offensichtlichen Spam ab und filtern stattdessen Spam, bei dem sich der Filter nicht 300% sicher ist, einfach in den Junk Folder im IMAP Spool. So stört der Spam nicht mehr, und bei versehentlich als Spam markierten Mails kann die entsprechende Mail noch im Junk Folder gefunden werden.

Als besonderes Feature "lernt" der Spamfilter Werbung besser zu erkennen. Wurde eine unerwünschte Werbemail _nicht_ automatisch erkannt, so könnt Ihr diese Mail mit einem IMAP Client in den Junk Folder verschieben und sie wird automatisch an den Spamfilter zum "lernen" weitergeleitet.
Das selbe passiert, wenn eine fälschlicherweise als Spam erkannte Mail aus dem Junk Folder in die Inbox oder einen anderen IMAP Folder bewegt wird. Der Spamfilter bekommt die Mail zum "lernen" weitergeleitet.

Als weiterer Beitrag zur Verringerung unerwünschter Mails werden eintreffende Nachrichten automatisch auf Viren oder Malware gescanned. Der verwendete Virenscanner ist Sophos AV mit einem von uns entwickelten Interface zum Mailserver.

Mails im Junk Folder werden nach 30 Tagen automatisch gelöscht und der Papierkorb (Trash Folder) wird nach 90 Tagen gelöscht.

In der Vergangenheit hatten wir mehrfach Greylisting zur Vermeidung von Spam getestet. Eine genaue Erklärung dieses Prinzips findet sich auf https://www.greylisting.org/. Zwar funktionierte dies sehr gut um bestimmte Arten von Spam zu vermeiden, andererseits führte dies zu nervigen Verzögerungen bei der Mailzustellung, da der sendende Mailserver oft erst beim zweiten Anlauf die Mail zustellen konnte. Daher testen wir gerade eine andere Art des Greylistings. Mailserver, die uns in den vergangenen 3 Monaten weniger als 10% Spam geschickt haben, können direkt ohne Greylisting Mails abliefern. Bei höheren Spamanteilen oder deutlicher zu erkennenden Spam-Mails wird eine
Wartezeit forciert bevor die Mail bei uns eingeliefert werden kann. Je mehr Spam, desto länger muss gewartet werden. Wir werden die Auswirkungen hier beobachten und schauen, ob sich dies auf legitime Mails auswirkt. Unsere Tests sahen jedoch sehr vielversprechend aus.

Zur komfortablen Nutzung des Mailservers haben wir ein neues eMail Webinterface auf Basis von RoundcubeMail installiert. Das Design ähnelt sehr einem Desktop-Mailclient wie z.B. Thunderbird.Zu erreichen ist dieser Webmail Client unter https://webmail.bawue.net.
Beim Zugriff von Mobilgeräten (Smartphone, Tablet etc.) schaltet das Webinterface auf eine entsprechende vereinfachte Ansicht um, die für Mobilgeräte geeignet ist.
Falls Ihr das bisherige Squirrelmail Interface bereits genutzt habt, dann wurden Eure Einstellungen und Adressbücher bereits auf das neue Webmail Interface migriert und stehen Euch dort zur Verfügung.

Falls Ihr die bestehenden Möglichkeit genutzt habt, auf dem bestehenden Cyrus IMAP Server Sieve-Regeln zur Mailfilterung einzurichten, so wurden diese Regeln auch auf den neuen Server migriert und entsprechend angepasst. Sieve Reject Regeln werden jetzt zum Zeitpunkt der Einlieferung von Mails ausgewertet und erzeugen keine sogenannten Late-Bounces mehr. Dies ist sehr praktisch, falls ihr manuelle Spamfilter konfiguriert habt. Sieve Redirect Regeln werden einem SPF Rewriting unterzogen, damit das
Bounce-Handling funktioniert.

RoundcubeMail bietet einen sehr komfortablen Editor für diese Sieve-Filter unter https://webmail.bawue.net/roundcube/?_task=settings&_action=plugin.managesieve

Falls Ihr auf den eMail-Server von einem Mobilgerät via IMAP zugreift, so unterstützt der neue Mailserver in manchen Situationen PUSH Notifications beim Eintreffen neuer Mails.
Für Android User, die z.B. den K-9 eMail Client verwenden, unterstützt der Mail Server IMAP IDLE um eine Verbindung offen zu halten und dem Client bescheid zu sagen, wenn eine neue Mail eingetroffen ist.
Für iPhone/iPad/iOS User unterstützen der Server XAPNS, die Apple Push Notification Extension. Beim Eintreffen einer neuen Mail schickt unser Mailserver einen Push-Notification über die Apple Server direkt auf das Mobilgerät, dass daraufhin die neuen Mails von unserem Server abruft. So wird verhindert, dass eine Verbindung zum Mailserver aufrechterhalten werden muss, was sich positiv auf den Stromverbrauch auswirkt.

Beim Zugriff auf die Mails selber ändert sich nichts. Wenn ihr bisher IMAP oder POP3 verwendet, so funktioniert dies auch in Zukunft. Hier ändert sich nichts.

Die Zugangsdaten und einen Login-Link für das Webmail Interface findet Ihr auch nochmal zusammengefasst auf https://my.bawue.net/email.php. Dort ist auch ein Link für ein iOS Konfigurations-Profil vorhanden, dass die Konfiguration des eMail-Zugangs vereinfacht.

Auch Thunderbird sollte automatisch den richten Server finden, da wir eine entsprechende Autoconfiguration URL anbieten.

Der IMAP Server ist weiterhin auf imap.bawue.net zu erreichen und bietet auf Port 993 IMAP mit TLS/SSL und auf Port 143 IMAP mit STARTTLS an. Der POP3 Server ist genauso wie bisher auf pop3.bawue.net zu erreichen und bietet auf Port 995 POP3 mit TLS/SSL und auf Port 110 POP3 mit STARTTLS an.

Zum Versand der Mails steht wie gehabt smtp.bawue.net zur Verfügung und bietet auf Port 465 SMTP mit TLS/SSL und auf Port 587 SMTP mit STARTTLS an.

Alle drei Server akzeptieren nur noch verschlüsselte Verbindungen und bieten gültige Zertifikate von LetsEncrypt an, so dass keine Warnungen über ungültige Zertifikate erfolgen sollten.

Benutzername und Passwort sind unverändert gültig.

Leider ist soeben sysiphus.bawue.net ohne ersichtlichen Grund ausgefallen.

Dies bedeutet, dass momentan sowohl sämtliche Mail-Dienste als auch zentrale Dienste wie my.bawue.net ausgefallen sind.

Webseiten von Mitgliedern funktioneren jedoch noch weiterhin.

Leider reagiert die Maschine auch nicht mehr auf das Out-Of-Band Management. Daher muss man vor Ort schauen, warum die Maschine unzufrieden ist.

[Update]
Seit 01:45 am 13. Oktober sind alle Dienste wieder stabil.

Update Freitag, 13. April 2012:

Seit 13:00 Uhr haben wir wieder einen vollständigen Mailspool.
Ihr könnt alle DIenste jetzt wieder wie gewohnt nutze.

Solltet Ihr irgendwelche Probleme entdecken, so schreibt bitte eine Mail an admin@bawue.net oder kontaktiert uns im IRC.

Eine genauere Erklärung des Ausfalls erfolgt in den nächsten Tagen.

Update: Der Mailserver wird ab jetzt (Donnerstag, 12:00 Uhr) unerreichbar sein, während wir das Backup einspielen.

Anschliessend sollten wieder alle Mails ohne Verlust verfügbar sein.

UPDATE: Wie es aussieht, haben wir eine aktuelle Kopie der Daten auf dem Filer gefunden. Wir prüfen dies im Moment.

UPDATE:

Wir haben mittlerweile den Mailserver wieder aktiviert, jedoch auf einer anderen IP.
Unter mail-temp.bawue.net/193.7.176.99 ist IMAP, IMAPS, POP3 und POP3S verfügbar. Wie der Name sagt, ist dies rein temporär.
Alternativ geht auch der Webmail Zugang unter <https://webmail.bawue.net> oder <https://my.bawue.net/squirrelmail2/>.

Eine Zusammenfassung der aktuellen Probleme:

Die aktuellen Ausfälle beim bawue.net sind eine Spätfolge der am Osterwochenende stattgefundenen Arbeiten an der Stromversorgung: Wir haben wir gerade mit einem merkwürdigen Problem der Datenspeicher zu kämpfen: Manche, aber nicht alle unsere Server haben nach der Wiederherstellung der Stromversorgung plötzlich den Datenstand von Anfang Februar.

Die Webserver selber sind davon betroffen, nicht aber die Userdaten/Webseiten und Datenbanken. D.h. Konfigurationsänderungen am Webserver sind verloren, Webseiten selber nicht.
Die Webseiten sollten alle seit Sonntag abend wieder verfügbar sein.

Leider ist auch der Mailserver betroffen. Das System ist aktuell, aber der Mailspool, also die Mails sind auf dem Stand 4. Februar 2012.

Wir sind im Moment dabei, alle Daten von den zentralen Datenspeichern wegzumigrieren, damit wir diese genauer untersuchen können ohne weitere Ausfälle zu provozieren.

Unser Problem ist nun, dass die wir die Mailserver in Betrieb nehmen können aber dann Mails zwischen dem 4. Februar und dem 9. April "fehlen".
Lokal bei Euch sind diese Mails noch verfügbar, werden beim ersten Kontakt mit dem Mailserver jedoch gelöscht.

Insofern würde ich Euch empfehlen, eine Sicherheitskopie des Datenbestandes Eures lokalen Mailclients anzulegen.

Da wir aber dies nicht an alle unsere Benutzer kommunizieren konnten, zögern wir noch, die Mailserver wieder komplett in Betrieb zu nehmen.

Wir haben allerdings Übergangslösung im Angebot:

Auf einer anderen IP Adresse/einem anderen Hostnamen könnt Ihr auf Eure Mails zugreifen, unter der Prämisse, dass ihr wisst, dass dies evtl. lokal gespeicherte Mails löschen kann.

Wenn Ihr das möchtet, so sagt bitte kurz Bescheid und wir werden das dann entsprechend für Euch einrichten.

Erreichbar sind die Admins im IRC Netz auf dem Channel #bawue. Webchat. Ersatzweise geht auch eine eMail an admin@bawue.net.

UPDATE: Wir bewegen gerade die "frischen" Daten andere Maschinen, damit wir gefahrlos uns die Filer genauer anschauen können.

Sobald dies geschehen ist, sind die Webserver wieder verfügbar.

Als Hinweis an die User: Bitte erstellt eine Kopie des Mail-Folders Eures eMail Clients. So können die Mails, die Ihr noch lokal habt nicht verlorengehen sobald Ihr unseren Mailserver mit den alten Daten kontaktiert. Bei Fragen helfen wir Euch gerne über den Webchat.

Im Zusammenhang mit den angekündigten Arbeiten an der Stromversorgung am Osterwochenende ist leider ein Problem mit den zentralen Datenspeichern aufgetreten.

Im Laufe der Arbeiten wurden am Sonntag Abend die zwei zentralen Datenspeicher neu gestartet.

Abschliessend fiel auf, dass einzelne Systeme plötzlich auf dem Stand von ende Januar oder anfang Februar sind.

Wir sind gerade dabei herauszufinden, was hier los ist und dann zu versuchen den Fehler zu beheben.

Aktueller Stand ist:

• Sämtliche Datenbanken sind aktuell


• Sämtliche Daten von Benutzern (Homedirs, Webseiten) sind aktuell


• IMAP/Mail Spool ist Stand 4. Februar 2012


• Systempartition vom Mailserver ist aktuell.


• Systempartitionen von Webservern und Shellservern sind Stand Februar.

Aktuell ist der Mailserver abgeschaltet, damit Ihr Eure lokal noch vorhandenen Mails nicht beim nächsten Sync verliert.

Webseiten funktionieren mit Ausnahme derer, deren Konfiguration zwischen Februar und April 2012 geändert wurde.

Erreichbar sind die Admins im IRC Netz auf dem Channel #bawue. Webchat.