Fürs Protokoll: Neben den vorgenannten Dovecot und Postfix würde ich noch Rspamd empfehlen, welches seinerzeit mehrere zusätzliche Hilfsprogramme ersetzte.
Letztendlich bauen die fertigen Lösungen auch nur auf diesen bzw. ähnlichen Komponenten auf, sind aber nicht direkt auf das oben genannte Setup ausgelegt, weswegen ein manuelles Setup sicher nicht so viel aufwändiger wäre.
Hier würde ich anraten, zumindest einmal einen Blick auf ein "Rundum-Sorglos-Paket" wie mailcow zu werfen, um eine Idee dafür zu bekommen, was möglich/konfigurierbar ist (auch wenn ich besagtes Paket nicht selbst nutze).
Je nach den eigenen Wünschen ist ein Fokus auf das unbedingt Benötigte mittel-/langfristig immer besser, allerdings dauert es seine Zeit, bis man sich in alles eingelesen hat (und wenn man allzu spezialisierte Konfigurationen verwendet, wird die Luft schnell dünner, wenn man bei Problemen Dritte kontaktieren will – Daumenregel: je größer die Nutzerbasis, desto höher die Chance, dass sich schon einmal jemand dem Problem gegenübersah). Ich habe über die Jahrzehnte sicherlich viele PT an der Konfiguration herumgeschraubt, um sie zu perfektionieren; auch wenn die Programme inzwischen auch "Kinderkrankheiten" loswurden und zusätzliche Funktionen lernten, ist das Aufsetzen eines Mailservers (inklusive Backup-Funktionalität!) nicht zu unterschätzen.
Ganz wichtig sind natürlich externe Funktions- und Sicherheitstests (ein Beispiel: MECSA).