Das ist klar. Du bekommst ja auch nicht die public IPv4 Adresse des Servers zugewiesen, sondern eine des VPN Subnets. Diese wird dann über NAT auf deine public IPv4 umgesetzt. Deshalb hast du Internetzugriff über IPv4.
So ist das für IPv6 jedoch nicht vorgesehen: jeder Client hat nach außen eine eigene IPV6.
Du kannst dir entweder ein zusätzliches IPv6 Subnet bestellen und daraus die Client IPs zuweisen, oder du nutzt einen NDP Proxy (sowas haben auch einige hier bei sich laufen). Andere Möglichkeit wäre ein ULA Subnet für deine Clients zu verwenden und den Traffic zu deinem Server intern über ein VLAN zu routen.
In allen Szenarien hätte jedoch jeder deiner Clients eine eigene IPv6, sodass du dem gesamten IPv6 Subnet den Zugriff erlauben musst.