Er soll nur von außen (auch) unter der IP der zweiten NIC erreichbar sein.
Wir haben ja jetzt so einigermaßen ein Gefühl dafür, was du erreichen willst. Ansonsten wäre diese Aussage eine Vollkatastrophe, denn sie hat überhaupt nichts mit dem zu tun, was du momentan umsetzt. Und es wäre auch unmöglich, denn das VLAN Interface ist grundsätzlich von außen nicht erreichbar, sondern nur von anderen Servern, die am gleichen VLAN hängen.
Wo könnte ich mit der Fehlersuche anfangen?
Versuche herauszufinden, wo die Pakete verloren gehen. Ein mtr mit 100 Paketen ist ein erster Schritt. Dazu könnte es ein MTU oder MSS Problem sein, aber ob du da überhaupt dran kommst bei Zerotier, kann ich dir nicht sagen.