Jetzt möchte ich, dass man mit der Domain sich verbinden kann
Was genau meinst du? Bitte konkreter werden.
Sofern der Dienst auf Server 2, mit dem zu dich "verbinden" möchtest, SRV-Records unterstützt, wäre es in der Tat möglich, <domain.de> mit der IP von Server 1 zu hinterlegen, und dennoch mittels SRV-Records über <domain.de> auf Dienste des Servers 2 zu verbinden. Anderenfalls wird es schwierig, da <domain.de> letztendlich nicht direkt auf zwei verschiedene IPs verweisen kann - Subdomains können natürlich davon abweichen.
Teamspeak beispielsweise beherrscht das Verbinden über SRV-Records. Wie es bei den anderen ungenannten Anwendungen ist, weiß ich nicht, sollte aber die Suchmaschine deines Vertrauens ausspucken.
Kann ich auf dem gleichen RootServer Wordpress und NGinx laufen lassen
Wieso sollte das nicht möglich sein? Dein Rootserver, deine Entscheidung. Allerdings sollte man, wenn man schon eigene Server betreibt, dieses Wissen auch mitbringen oder zumindest sich erarbeiten können. Anderenfalls wäre ggf. ein Webhosting für diesen Einsatzzweck vorzuziehen.
So auch was Let's Encrypt angeht, gibt tonnenweise Anleitungen dazu im Netz. Ich persönlich nutze dafür acme.sh, aber das ist nur eine Möglichkeit. Es gibt auch WIldcard-Zertifikate, die dann beispielsweise auch für alle Subdomains gelten. Oder man beantragt sie gezielt, gibt sehr viele Möglichkeiten.
In einem fertigen Webhosting wäre dies übrigens mit wenigen Klicks aktiviert.
Ich hoffe meine Worte kommen nicht zu harsch rüber, es ist nicht meine Absicht dich von deinem Vorhaben abzubringen. Bedenke einfach, dass mit einem eigenen Server schlicht auch eine Menge Verantwortung und Arbeit einhergeht. Und auch die Absicherung der eigenen Server darf man nicht vernachlässigen!
Evtl konkretisierst du deine Baustellen und Problemfälle, und benennst die Stolpersteine, wo du nicht genau weiterkommst. Ggf. kann man dann gezielt Tipps geben. Ansonsten ist das meiner Meinung nach zu allgemein gehalten und man könnte ganze Romane als Antwort verfassen, um jeden Aspekt abzudecken.