Beiträge von Denny

Zitat von patrick

sshfs scheint kein Locking zu unterstützen, daher kann das gefährlich werden. Ich würde es nicht tun.

Mein neues Setup

• Mailserver + Storage → laufen auf einer Instanz
• MariaDB + Apache2 (Webmail) → laufen auf einer separaten Instanz
• Verbindung über internes 10G-Netz

Nun meine Überlegung:
War es nicht so, dass Apache/Webmail eigentlich nichts schreibt, sondern nur liest, und die gesamte Speicherarbeit (Mails ablegen, verschieben, löschen, Anhänge speichern usw.) sowieso vom Mailserver erledigt wird?
Wenn das stimmt, dann wäre die Aufteilung ja eigentlich unproblematisch – oder habe ich hier etwas übersehen?

Selbst wenn ein User im Webmail eine Mail verschickt, geht das doch direkt an den Mailserver, der sie dann abspeichert und verarbeitet, korrekt?

Hintergrund:
Ich überlege gerade, Maildaten im SQLite-BLOB-Format auf dem Storage zu halten, da die Speicherplatzeinsparung enorm ist. Wir reden hier über ca. 30 TB Maildaten, das wäre also ein echter Gamechanger.

Frage:

• Gibt es aus eurer Sicht eine Alternative, die ähnlich effizient wäre?
• Oder spricht etwas dagegen, das so zu lassen, wie es ist?

Moin,

ich erinnere mich, dass es bei b1gMail 7.4 den Hinweis gab, die Speichermethode „eine Datei pro Postfach“ (ein Objekt pro Nutzer) nicht auf externem Storage zu betreiben. Gilt das noch?
Ich möchte das nun erstmals über SSHFS einsetzen. Testweise lief es früher bereits, ohne dass mir Probleme aufgefallen sind.

Gern würde ich dennoch besprechen, ob ich das so weiterlaufen lassen sollte. Seit der Umstellung auf SSD sind die Suchzeiten deutlich gesunken, allerdings habe ich rund 50 Mio. E-Mails im Bestand.

Frage: Das Premium Plugin sollte doch in Bezug auf die Pfade gefixt worden sein, leider bekomm ich immer noch nur /modern/email.js obwohl das Premium Theme /modern3 heißt hab auch nur ne Warning die vermutlich damit nichts zu tun hat:

[06-Aug-2025 11:22:05 Europe/Berlin] PHP Warning:  Undefined variable $maxORder in /var/www/web0/htdocs/plugins/premiumaccount.plugin.php on line 2729
[06-Aug-2025 11:22:05 Europe/Berlin] PHP Warning:  Undefined variable $maxORder in /var/www/web0/htdocs/plugins/premiumaccount.plugin.php on line 2729
[06-Aug-2025 11:22:05 Europe/Berlin] PHP Warning:  Undefined variable $maxORder in /var/www/web0/htdocs/plugins/premiumaccount.plugin.php on line 2729
[06-Aug-2025 11:22:05 Europe/Berlin] PHP Warning:  Undefined variable $maxORder in /var/www/web0/htdocs/plugins/premiumaccount.plugin.php on line 2729

edit:

Hab das System jetzt sogar nochmal komplett neu gemacht und immer noch der falsche template Pfad, auch bei Organizer

Moin,

mal ganz ehrlich – ich wäre echt dafür, dass der b1gMailServer eine Funktion bekommt, mit der man solche Sachen wie „SPF none“ oder auch gefälschte Absender konsequent blocken kann.
Gerade jetzt, wo so viele Fake-Mails und Erpresser-Müll unterwegs sind, wäre das wirklich ein Segen.

Mir würde schon ein Schalter reichen wie:
„E-Mails ohne SPF-Eintrag ablehnen“
… oder dass man zumindest eine eigene Policy setzen kann, was mit solchen Mails passieren soll.

Wer sieht das noch so?
Vielleicht liest ja jemand vom Entwicklerteam mit, oder gibt’s schon einen Trick, wie man das halbwegs sauber in b1gMailServer abbilden kann?

Fände das echt hilfreich, bevor ich weiter an irgendwelchen Workarounds schraube oder wieder alles per Hand filtern muss…

Grüße

Norbert

ich bekomme aktuell viele X-Mozilla-Status: 0001
X-Mozilla-Status2: 00000000
Return-Path: <> ?
Received: from [10.88.0.3] (115.193.32.34.bc.googleusercontent.com [34.32.193.115])
by mail.domain.de (b1gMailServer) with ESMTP id 237E83A8
for <domain@domain.de>; Tue, 24 Jun 2025 18:47:30 +0200 (CEST)
Received-SPF: None ?
identity=; client-ip=34.32.193.115;
helo=[10.88.0.3]
Content-Type: multipart/related; boundary="===============3329146821057136785=="
MIME-Version: 1.0
From: "emailn.de" <no-reply@domain.de>
To: emailn@emailn.de
Subject: =?utf-8?q?Failure_Delivery_Messages_domain=40domain=2Ede?=
X-Priority: 2
X-Antivirus: Avast (VPS 250625-2, 25.6.2025), Inbound message
X-Antivirus-Status: Clean

--===============3329146821057136785==
Content-Type: text/html; charset="utf-8"
MIME-Version: 1.0
Content-Transfer-Encoding: base64

Zitat von ManDal

Betreibe einige Eigenentwicklungen und da prüfe ich beim Login immer ob es von der IP bereits ein Login gab und falls nicht informiere ich die Admin E-Mail-Adresse darüber, wäre eine nette Zusatz Funktion bei der man wenigstens informiert wird wenn doch ein Login stattgefunden hat von einer IP die man nicht kennt (wäre evtl. auch etwas für den LI bereich). Weiter müsste man weg von den SIDs kommen die immer in der URL auftauchen, gibt da elegantere varianten und immer mit dem Backend gegenprüfen anhand einer id / public ip etc... ob der User immer noch der User ist der sich Angemeldet hat.

An so etwas arbeite ich auch allerdings ist das mit IP schwierig, da braucht man viele Daten und die IP ändern sich ständig, man könnte das nach Netz machen aber das wars dann schon. Geräte-Fingerprinting und Cookie-Sessions ist so mein Ansatz auch nochmal eine Überprüfung über 2FA oder Mailbestätigung machen wenns abweicht

Zitat von Sebijk

Oha, vielen Dank für diesen wichtigen Hinweis. Bin immer davon ausgegangen, dass auch im Adminpanel mindestens eine Cookie-Sperre aktiv ist (oder war sie deaktiviert?).

sollte Pflicht sein, das ist krass Oo

Moin zusammen,

ich habe eine Frage zur Dateianhang- bzw. Upload-Filterung:

In der Webdisk meines Systems kann ich ja verbotene Dateiendungen definieren – das funktioniert dort auch zuverlässig. Neuerdings kommen aber Schadcodes über SVG-Dateien, und ich möchte diese auch bei E-Mails blockieren.

Allerdings bekomme ich SVG-Anhänge nicht zuverlässig geblockt, und mein bisher genutzter ClamAV-Scanner funktioniert seit dem Server-Upgrade auf Ubuntu 24.04 nicht mehr. Eine saubere Lösung über ClamAV ist derzeit also nicht möglich.

Gab es nicht auch im Mailbereich des Systems eine Funktion, um bestimmte Dateiendungen oder MIME-Typen zu blockieren (wie z. B. .exe, .bat etc.)? Oder war das nur für die Webdisk gedacht?

Falls jemand einen Tipp hat, wie ich das systemweit (z. B. über ein Plugin oder eine zentrale Prüfung) lösen kann, wäre ich dankbar. Alternativ auch gern Hinweise, wie man ClamAV unter 24.04 wieder stabil zum Laufen bekommt.

Viele Grüße

Norbert

Zitat von patrick

Die Meldung deutet darauf hin, dass die .msg-Datei der jeweiligen E-Mail im data-Ordner entweder fehlt oder aus anderen Gründen nicht geöffnet werden kann (Rechte, etc).

danke für den Hinweis, das war in der tat der Fall

Ich habe auf meinem Testsystem ein paar alte Mails die ich nicht mehr lesen kann, das ist der selbe Fehler wie der, der auf meinem Produktivsystem in den Logs ausgegeben wird. Wenn ich neue Mails erstelle, dann sind diese auch wieder lesbar, es handelt sich um Mails die ich selbst verfasst habe vor dem Update

Fatal error: Uncaught TypeError: ftell(): Argument #1 ($stream) must be of type resource, bool given in /usr/www/users/sendeq/serverlib/mailparser.inc.php:373 Stack trace: #0 /usr/www/users/sendeq/serverlib/mailparser.inc.php(373): ftell() #1 /usr/www/users/sendeq/serverlib/common.inc.php(1663) : eval()'d code(1): BMMailParser_Part->__construct() #2 /usr/www/users/sendeq/serverlib/common.inc.php(1663): eval() #3 /usr/www/users/sendeq/serverlib/mailparser.inc.php(528): _new() #4 /usr/www/users/sendeq/serverlib/common.inc.php(1663) : eval()'d code(1): BMMailParser->__construct() #5 /usr/www/users/sendeq/serverlib/common.inc.php(1663): eval() #6 /usr/www/users/sendeq/serverlib/mail.class.php(105): _new() #7 /usr/www/users/sendeq/email.read.php(61): BMMail->Parse() #8 {main} thrown in /usr/www/users/sendeq/serverlib/mailparser.inc.php on line 373

Hi,

ich weiß, dass der Thread etwas unübersichtlich geworden ist – mir selbst ist der genaue Zusammenhang auch nicht ganz klar. Ich habe den kompletten Ablauf bereits mit ChatGPT durchgearbeitet, verschiedene Stellen überprüft und dabei festgestellt, dass $stream den Wert false zurückgibt. Allerdings gibt es in diesem Fall keine erkennbare Fehlerrückgabe.

Ich hatte bereits vorher eine Debug-Ausgabe eingebaut, um den Fehler einzugrenzen. Dabei stellte sich heraus, dass der Stream einfach leer war. Nachdem ich einen Fix eingebaut hatte, funktionierte plötzlich der Login-Bereich nicht mehr – und an der Stelle habe ich dann aufgegeben um nicht noch mehr kaputt zu machen, es ist halt ne Produktiv-Seite, ist halt Mist daran was zu ändern.

ist das dann gleichzeitig die neueste Version, geht vermutlich erst wenn der Server das untertsützt, ich habe aktuell die Ubuntu 22.04 und 24.04 am laufen, müsste da eigentlich gehen oder?

Was wäre denn, wenn man einfach ein Layout macht was beides unterstützt, dann wäre die mobile Seite obsolet

Problem bleibt bestehen, wenn ich den Fehler behebe hat das direkten Einfluss auf das Template, er erzeugt nach dem Login eine Schleife, verstehe das alles nicht auf jedenfall ist die error log voll damit, 1500 Fehler pro Tag

 [07-Jun-2025 10:43:45 UTC] PHP Fatal error:  Uncaught TypeError: ftell(): Argument #1 ($stream) must be of type resource, false given in /var/www/web0/htdocs/serverlib/mailparser.inc.php:373
Stack trace:
#0 /var/www/web0/htdocs/serverlib/mailparser.inc.php(373): ftell()
#1 /var/www/web0/htdocs/serverlib/common.inc.php(1663) : eval()'d code(1): BMMailParser_Part->__construct()
#2 /var/www/web0/htdocs/serverlib/common.inc.php(1663): eval()
#3 /var/www/web0/htdocs/serverlib/mailparser.inc.php(528): _new()
#4 /var/www/web0/htdocs/serverlib/common.inc.php(1663) : eval()'d code(1): BMMailParser->__construct()
#5 /var/www/web0/htdocs/serverlib/common.inc.php(1663): eval()
#6 /var/www/web0/htdocs/serverlib/mail.class.php(105): _new()
#7 /var/www/web0/htdocs/serverlib/mail.class.php(171): BMMail->Parse()
#8 /var/www/web0/htdocs/serverlib/mailbox.class.php(1822): BMMail->IsSigned()
#9 /var/www/web0/htdocs/plugins/b1gmailserver.plugin.php(1421): BMMailbox->GetMail()
#10 /var/www/web0/htdocs/plugins/b1gmailserver.plugin.php(1365): B1GMailServerAdmin->ProcessEventQueue()
#11 /var/www/web0/htdocs/serverlib/plugin.class.php(1392): B1GMailServerAdmin->OnCron()
#12 /var/www/web0/htdocs/serverlib/common.inc.php(2973): BMPluginInterface->callFunction()
#13 /var/www/web0/htdocs/cron.php(139): ModuleFunction()
#14 {main}
 thrown in /var/www/web0/htdocs/serverlib/mailparser.inc.php on line 373

Zitat von Sebijk

Da mir persönlich die Login-Sicherheit und 2 Faktor wichtig sind, habe ich mir überlegt, wie man das global für alle Dienste gestalten kann.

Daraus entwickle ich mir die Idee einer Tokenverwaltung.

Die Tabelle bm60_users_token sieht dabei so aus

Der Inhalt kann nicht angezeigt werden, da Sie keine Berechtigung haben, diesen Inhalt zu sehen.

Dort soll man die Tokens und Secrets ablegen können. type steht für die Art des Dienstes z.B. pop3,imap,smtp,caldav,webdav,zpush usw...

Einstellung in b1gMailServer.

Der Inhalt kann nicht angezeigt werden, da Sie keine Berechtigung haben, diesen Inhalt zu sehen.

Da man nicht alle Dienste per 2FA absichern kann, ist eine Absicherung pro Dienst hilfreich.

Alles anzeigen

Richtig gute und vor allem wichtige Idee!
Wäre der Login dann ausschließlich über den Token möglich? Das wäre tatsächlich der beste Weg – ein Passwort gar nicht mehr zu akzeptieren verhindert effektiv, dass Bots mit gehackten Passwörtern über POP3 oder IMAP Zugriff erlangen.

Außerdem fände ich es gut, wenn jemand das 2FA-Plugin so anpassen könnte, dass 2FA auch verpflichtend (gruppenweise) aktiviert werden kann! Ich glaube, genau da liegt aktuell das größte Manko.

Zitat von SLM

Wenn wir beim Thema Backup sind: Die zentrale Speicherung aller Mails bzw. Mail-Rumpfdaten in 1 Tabelle ({pre_mails) ist fatal. Das sollte man im Zuge der npassung ebenfalls ändern.

Meine MySQL-Datenbank ist mittlerweile rund 300 GB groß, und allein die Mail-Tabelle umfasst ca. 160 GB. Das macht den Betrieb teuer, was RAM angeht, und wirkt sich massiv auf die Performance aus. Jede Operation auf dieser Tabelle ist extrem zeitaufwendig – man kann nicht einfach mal eben etwas ändern oder umstrukturieren, weil alles im laufenden Betrieb passieren muss.

Sharding wurde hier erwähnt – das wäre grundsätzlich sinnvoll, aber in einem gewachsenen System mit zentraler Tabellennutzung nicht ohne Weiteres umsetzbar.

Was man sich aber überlegen könnte:

• Eine Archivfunktion im Adminbereich, die automatisch pro Jahr die Mails in eigene Tabellen auslagert (mails_2023, mails_2024, etc.). Neue Mails landen dann nur in der aktuellen Tabelle. Ältere Daten bleiben lesbar, belasten aber nicht mehr jede Abfrage.
• Alternativ oder zusätzlich: Partitionierung nach Datum oder Benutzergruppen. Das reduziert die Menge an Daten, die bei einer Query gescannt wird, deutlich.
• Sharding langfristig denkbar – etwa durch Aufteilung nach Usern auf verschiedene Tabellen oder Datenbanken –, aber das wäre ein größerer Umbau.

Aktuell suche ich nach Möglichkeiten, wie sich das Ganze im laufenden Betrieb entschärfen lässt. Jede kleine Optimierung hilft, denn bei solchen Datenmengen zählt wirklich jede Sekunde.

Jain, weil vor der Umstellung ging es ja, das ist erst seit der neuen Version so und die Mails hängen dann in der queue und erst wenn ich manuell ab arbeiten klicke gehen die raus, sind nicht viele... hier mal so ein header mit HTML body ohne Text

Return-Path: <bounces-276521518-2140918305@mailer2.vic>
Received: from mailer2.vic.com (mailer2.vic.com [172xxx.xx.71])
	by s.de with ESMTPS id 66644EA9
	for <hat@s.de>; Tue, 20 May 2025 09:19:53 +0200 (CEST)
Authentication-Results: unknown-host;
	dkim=pass (1024-bit key; unprotected) header.d=maitoriamilan.com header.i=@mailer2.vi	header.a=rsa-sha256 header.s=mail header.b=LHZ30X8+;
	dkim-atps=neutral
Received-SPF: Pass
	identity=bounces-27652105@maer2.vian.com; client-ip=172.xxx.xx.71;
	helo=mailer2.victoriamilan.com
DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=mer2.an.com;
 q=dns/txt; s=mail; bh=cZqL8VpCJ3BylpZg2ukFGi4gI+aycytaL+Kwu7YtvRs=;
 h=from:subject:date:to:mime-version:content-type:content-transfer-encoding:list-unsubscribe:x-csa-complaints:list-unsubscribe-post:message-id:x-sib-id:feedback-id;
        b=LHZ30X8+sE444cLjDwXXPU07+vXuyokD5sNBXq2ORW4r7EE3t6d+8T4N5AmhzdwNToEymo0L5iqtTPBOmCxRN
        h2TM6z/jyPUvQ6JLgOA=
X-Mailin-EID: Mjc2NTIxNTE4fmhhbnMxLnd1cnN0QHNreW1haWwuZGV%2BPDIwMjUwNTIwMDcxOS42MzE4MjIzMTQzN0BzbXRwLXJlbGF5Lm1haWxpbi5mcj5%2BbWFpbGVyMi52aWN0b3JpYW1pbGFuLmNvbQ%3D%3D
X-sib-id: 7PTmR07-pl_P2BxcgWMQ-Z2tPWhL6otbtBsXsdeV0tJTpAiZ63r3J153jApQiE5w8ticI2oViXknNOEPA8IOunaXpKjN_-cfqOZoq8epdlxxk00rod1j2iWlBQI8ED6SoYBr41q3mLaYXVm5o5Ys4YMhC1qunHliuEHshGG9TKy7Us4a
Origin-messageId: <202505200719.63182231437@smtpelay.mn.fr>
List-Unsubscribe-Post: List-Unsubscribe=One-Click
Feedback-ID: 172.xxx.xx.71:7873403_-1:7873403:Sendinblue
List-Unsubscribe: <https://r.maileramilan.com/tr/uzkvifAe8HUtrpR7gS9W9H8uswSBnBAFnW-Ea8EFH9kBxn-5y-ShKDfv3Ex7EBZFagWAFa83t6xwexk3aisLNW8ejEczbgcskcmujs2_M40H6x0pwWeawoFrcejj-RWFaECPT8-383cz7OYOY6Ecg912IZKh2d08GnY3mKg2YENjLqzKOQTIEn6B6v4EIojQK3x6r-6OvFztRqf8gktHRr81qeN-JHtVAPXgHFeA>
X-CSA-Complaints: csa-cos@eo.de
To: "Hans" <hst@s.de>
Date: Tue, 20 May 2025 07:19:51 +0000
Subject: =?utf-8?q?Fros,_41_=E2=80=93_M=C3=B6chten_Sie_ihn_kennenlernen=3F?=
Message-Id: <2025231437@smtp->
From: "Victoria Milan" <noreply@>
X-Api-Version: v3
Content-Transfer-Encoding: quoted-printable
Content-Type: text/html; charset=utf-8
Mime-Version: 1.0

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.=
w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html><head>
        <meta http-equiv=3D"Content-Type" content=3D"text/html; charset=3DU=
TF-8"/>

        <!-- Facebook sharing information tags -->
        <meta property=3D"og:title" content=3D"            Froschprinz, 41 =
=E2=80=93 M=C3=B6chten Sie ihn kennenlernen?
    "/>

        <title>            Froschprinz, 41 =E2=80=93 M=C3=B6chten Sie ihn k=
ennenlernen?
    </title>

        <meta name=3D"viewport" content=3D"width=3Ddevice-width, initial-sc=
ale=3D1.0"/>

       =20
    </head>

        <body style=3D"    background-color: #f2f2f2;
inhalt


</body></html>

Also Cal und CardDAV wird aktiv genutzt aber hatte b1gmail nicht später eine eigene Entwicklung für? Das Z-Push war doch nur eine Übergangslösung für für b1gmail 7.3 oder

Zitat von Sebijk

BorgBackup wäre auch zu empfehlen. Es erstellt Backups inkrementell, verschlüsselt und dedupliziert. Für Hetzner gibt es eine Anleitung auf Storage Boxen: https://docs.hetzner.com/de/storage/sto…ssh-rsync-borg/. Macht am meisten nur Sinn, wenn man eine Datei pro Objekt wählt.

Jup aktuell habe ich 28TB an Daten, da tuts die Storage box nicht mehr, ich nutze die für zwei kleine Dienste, die hat ja auch eine eigene Backup Funktion via snaps, ich mach aber auch da immer rsync die 4 TB sind in eigentlich schnell durch, eine Zeit lang hatte ich die Storage box sogar als Storage direkt eingesetzt auch produktiv allerdings gab da oft Wartungen, so dass ich das irgendwann umgestellt hab.

Zitat von ManDal

Genau bei Rsync sicherst du ja immer den gesamten Blob, klar immer noch performanter wie 1000ende kleinst Daten aber von der datenmenge und laufzeit wahnsinn...

das war bei mir schon immer ein Problem, damals wegen der Bandbreiten und HDD (iops), das problem ist halt mitgewachsen...wir haben zwar krasse Hardware und Gbit im Vergleich zu früher aber die Datenmengen sind halt auch mitgewachsen

Zitat von ManDal

Wie Backupst du dein System?

Dafür wäre es dann aber sehr hilfreich wenn pro Jahr oder Monat eine Datei da wäre, dann muss dein Backup nur das aktuelle (wo die meisten Veränderungen stattfinden) sichern und nicht immer alles...

Wäre sinnvoll. Rsync tatsächlich noch, ich habe halt lediglich einen Hetzner Server aus der Serverbörse, das geht bei blob ganz gut aber bei der 7.2 mit den einzelnen MSG Datein dauert das halt ewig